Kraft不等式的证明

原文在此信息论——Kraft不等式以及变长编码定理

Kraft不等式的证明

Kraft不等式定义如下:

任意D-进制码前缀码其码长$l_1,l_2,...,l_n$,满足${\sum }_{i=1}^n{D}^{-l_i}\le 1$

反之,如果码长约束满足上述不等式,则必然可以构造出具有此码长的前缀码。

必要性证明

我们依然从D叉树来考虑这个问题。假如码字最长为$l_{max}$。当一个结点被选做码字的时候,假设这个结点的深度为$l_i$,也就是码长为$l_i$。那么因为它的存在,它子树的结点都不能再次作为码字。因此我们就损失了$D^{l_{max}-l_i}$个叶子结点(注意,这里说的是叶子结点)。

这棵树的所有叶子结点数目为:$D^{l_{max}}$。我们最多把所有的叶子结点都给剪掉。

现在假设一共有m个码字,则:

${\sum }_{i=1}^m{D}^{l_{max}-l_i}\le D^{l_{max}}$

两侧同时除以$D^{l_{max}}$,就得到了kraft不等式。

充分性证明

充分性更好证明。我们只要在树上就可以很容易构造出来这样的编码。

Kraft不等式给出了即时码的充要条件,但是和最优码长无关。