Kraft不等式

二元字母表（只由0，1组成的）

Kraft不等式是信息理论中一个重要的定理，与译码无歧义的编码方案有关。它是由罗伯特·F·克拉夫特（Robert F. Kraft）在1949年提出的。

该不等式阐述了一种编码方案的必要条件，以确保译码时没有歧义。具体而言，对于一个词典（codebook），它包含了各种不同长度的编码字（codewords），Kraft不等式指出这些编码字的长度需要满足一定的条件，以确保可以通过唯一识别的方式来解码信息。

假设有一个码字集合，其中包含了 (n) 个码字，每个码字的长度用 $l_1,l_2,l_3,\dots ,l_n$来表示，Kraft不等式的表述如下：

$$\sum _{i=1}^n{2}^{-l_i}\le 1$$

这个不等式要求对于给定的码字集合，其长度满足的加权倒数和不超过1。换句话说，码字的长度必须满足这个条件，以确保在译码时不会出现歧义，即可以唯一地解码编码过的信息。

Kraft不等式是在设计译码无歧义的编码方案时的一个有用工具，它可以用来验证编码的合法性，以确保在编码和解码过程中不会出现歧义。

假设有一个编码方案，其中包含了四个码字，它们的长度分别是 2、2、3、3。现在我们可以使用 Kraft 不等式来验证这个编码方案是否能够确保译码时没有歧义。

Kraft 不等式的表达式是：${\sum }_{i=1}^n{2}^{-l_i}\le 1$

对于这个例子，四个码字的长度分别是 2、2、3、3，我们可以将它们带入不等式进行计算：

$2^{-2}+2^{-2}+2^{-3}+2^{-3}=\frac{1}{4}+\frac{1}{4}+\frac{1}{8}+\frac{1}{8}=\frac{1}{2}+\frac{1}{4}=\frac{3}{4}$

在这个例子中，不等式左侧的计算结果是 $\frac{3}{4}$，而不等式要求结果必须小于或等于 1。由于 $\frac{3}{4}$小于 1，这个编码方案符合 Kraft 不等式的要求，意味着这个特定的编码方案能保证在解码时不出现歧义。

如果我们构建一个满足 Kraft 不等式的例子，例如，码字长度分别为 1、1、2、2，那么带入计算后：

$2^{-1}+2^{-1}+2^{-2}+2^{-2}=\frac{1}{2}+\frac{1}{2}+\frac{1}{4}+\frac{1}{4}=\frac{3}{2}$

在这种情况下，不等式左侧的计算结果为 $\frac{3}{2}$，不符合不等式要求。这意味着这个编码方案不满足 Kraft 不等式的条件，不可以确保在译码时没有歧义。

D元字母表

Kraft不等式适用于任何大小的字母表和码字长度。对于一个 D 元字母表（每个码字由 D 个符号构成），Kraft不等式可以表示为：

$$\sum _{i=1}^n{D}^{-l_i}\le 1$$

这里，$l_i$ 代表每个码字的长度，$n$ 是码字的数量。这个不等式要求每个码字长度的加权倒数和不超过 1，以确保编码方案在译码时没有歧义。

假设我们有一个三元字母表，即每个码字由三个符号构成。我们想要验证一个编码方案是否满足 Kraft 不等式。

如果我们有一个编码方案，它的码字长度分别是 1、1、2、2、2，那么带入计算后：

$$3^{-1}+3^{-1}+3^{-2}+3^{-2}+3^{-2}=\frac{1}{3}+\frac{1}{3}+\frac{1}{9}+\frac{1}{9}+\frac{1}{9}=\frac{2}{3}+\frac{3}{9}=\frac{6}{9}+\frac{3}{9}=1$$

在这种情况下，不等式左侧的计算结果为 1，符合不等式的要求。因此，这个编码方案满足 Kraft 不等式的条件，可以确保在译码时没有歧义。