贪心算法-霍夫曼编码问题

问题描述

给定一个由字母表 Σ = { a 1 , a 2 , . . . , a n } \Sigma=\{a_1,a_2,...,a_n\} Σ={a1​,a2​,...,an​}组成的文件，每个字母$a_i$对应一个出现频率$f_i$，求霍夫曼编码方案，使得编码后的文件长度最小。为简化问题（使得编对应为一棵树），这里暂定编码必须为前缀码。编码后文件的长度可由$\sum _{i=1}^n{l}_i{f}_i$来衡量，其中$l_i$为字母$a_i$对应的编码长度。

霍夫曼编码问题与最短外部带权路径长度和问题的等价性

2-ary的（仅由01编码的）前缀码对应的编码树是一棵二叉树，一个字母就是一个叶子节点。叶子节点的深度-1就是对应字母的编码的长度，而叶子节点的值就是对应字母的频率。因此求编码后文件的长度就是求编码树的外部带权路径长度(external weighted path length，叶子节点的带权路径长度)和。因此，求使得编码后的文件长度最小的霍夫曼编码方案的问题就转化为求编码树最短外部带权路径长度和问题的问题。

贪心算法

按照出现频次进行贪心，使得出现频率越低的字母对应的码字越长，即处于二叉树的最低层。方法是：

• 选择两个出现频率最低的字母$x$,$y$，组成一棵子树的叶节点，子树的节点$z$的频率设为$f_z=f_x+f_y$，从字母表中删去$x,y$，向字母表中加入$z$；
• 重复以上过程，直到字母表中只有剩一个字母。

一个例子如下：

具体编程实现时，可使用一个优先队列来表示这样的二叉树（即一个小顶堆）。

贪心算法正确性证明

需要证明算法求得的外部带权路径长度是最短的。我们记字母序列 { p i } \{p_i\} {pi​}为叶子节点形成的一棵树$T$的外部带权路径长度和$\sum _{i=1}^n{p}_i{l}_i$ 为 $L(p;T)$ ，记字母序列 { p i } \{p_i\} {pi​}的最优方案的值为$L^{\ast }(p)$。

由于编码算法比较特殊，不太适合用交换论证法（也可行但麻烦），这里用数学归纳法来证明：

• 假设所有字母已按频率降序排序：$p_1\ge p_2\ge \cdots \ge p_n$

• 当$n=2$时，使用1个bit即可，求得的二叉树深度也只有2，是最短的；

• 当$n>2$时：考虑最优方案一定具有以下性质：

  • 最优方案的编码一定符合频率越大、编码长度越小的原则：$l_1\le l_2\le ...\le l_n$ ;
  • 一定存在一个最优方案，记其对应的树为$T$，其中$p_n$和$p_{n-1}$节点是一棵子树的两个兄弟叶子节点(siblings)，$l_{n-1}=l_n$。（因为假如$n$没有兄弟节点，一定可以将$n$移至其父节点的位置）

  从$T$构建一棵具有$n-1$个节点的树$T_1$，字母序列记为 { q i } \{q_i\} {qi​}：其前$n-2$个节点与$T$相同，满足$q_1=p_1\ge q_2=p_2\ge \cdots \ge q_{n-2}=p_{n-2}$；删去$T$的最后2个节点；而第$n-1$个节点满足$q_{n-1}=p_{n-1}+p_n$。
  $L^{\ast }(p)=L(p;T)=(\sum _{i=1}^{n-2}{p}_i{l}_i)+p_{n-1}{l}_{n-1}+p_n{l}_n=[(\sum _{i=1}^{n-2}{p}_i{l}_i)+(l_{n-1}-1)(p_{n-1}+p_n)]+(p_{n-1}+p_n)=[(\sum _{i=1}^{n-2}{q}_i{l}_i)+(l_{n-1}-1)(p_{n-1}+p_n)]+(p_{n-1}+p_n)=L(q;T_1)+(p_{n-1}+p_n)$（计算中用到了$T$的$p_n$和$p_{n-1}$节点是一棵子树的两个兄弟叶子节点，而$q_{n-1}$的深度与$p_n$相同的条件）。

  我们无法保证树$T_1$的构造是最优的，故$L^{\ast }(p)\ge L^{\ast }(q)+(p_{n-1}+p_n)$。
  根据归纳假设，$n-1$的时候命题成立，即按我们的算法构建的 { q i } \{q_i\} {qi​}的树$T_1^{\prime }$的外部带权路径长度和为$L^{\ast }(q)$。而按我们的算法构建的 { p i } \{p_i\} {pi​}的树$T^{\prime }$即为$T_1^{\prime }$的基础上将最底层的值为$p_{n-1}+p_n$那个节点替换为$p_{n-1}$和$p_n$两个节点构成的子树。因此$L(p;T^{\prime })=L^{\ast }(q)+(p_{n-1}+p_n)$。又$L^{\ast }(p)\ge L^{\ast }(q)+(p_{n-1}+p_n)$。故$L(p;T^{\prime })$一定是$L^{\ast }(p)$，是最短的。得证。

附录：相关概念说明

码字

字母表中一个字母对应的编码串就是码字。

唯一可译

唯一可译，或称唯一可解，英文为uniquely-decodable或uniquely-decipherable，定义为对于任意可解码的编码后信息只有一种解码结果。

唯一可译的判断算法——Sardinas–Patterson算法

先引入尾随后缀(dangling suffix)的概念：
对于一个编码表 C = { a 1 = c w 1 , a 2 = c w 2 , . . . , a n = c w n } C=\{a_1=cw_1, a_2=cw_2,...,a_n=cw_n\} C={a1​=cw1​,a2​=cw2​,...,an​=cwn​}，它的所有尾随后缀为：

• 若一个码字$c{w}_i$是另一个码字$c{w}_j$的前缀，则$c{w}_j-c{w}_i$为该编码表的尾随后缀；
• 若一个码字$c{w}_i$是一个尾随后缀$d{s}_j$的前缀，则$d{s}_j-c{w}_i$为该编码表的尾随后缀；
• 若一个尾随后缀$d{s}_i$是一个码字$c{w}_j$的前缀，则$c{w}_j-d{s}_i$为该编码表的尾随后缀。

则一个编码表是唯一可译的，当且仅当它存在正好等于一个码字的尾随后缀。

例子：对于 C = { a = 0 , b = 01 , c = 10 } C=\{a=0,b=01,c=10\} C={a=0,b=01,c=10}，所有尾随后缀为 { 1 , 0 } \{1,0\} {1,0}，而$0$正好是$a$的码字，因此该编码表不是唯一可译的。比如$010$存在$ac$和$ba$两种解码。

定长码和变长码

• 定长码(fixed-length code)：码字的长度都是相同的。$k$位编码至多表示$2^k$个码字，因此若共有$n$个字母则码字长度至少是$k=\lceil {\log }_{2}n\rceil$。显然，定长码一定是唯一可译的。
• 变长码(variable-length code)：有不相同长度的码字。

前缀码(prefix codes)

仅依靠前缀就能解码的编码。

前缀码一定是唯一可译的，而唯一可译的编码不一定是前缀码。例如 C = { a = 0 , b = 01 } C=\{a=0,b=01\} C={a=0,b=01}是唯一可译的，但不是前缀码，因为读到$1$的时候还需要向后读一个字符才能确定是$a$还是$b$。因此，前缀码的优越性在于可以无回溯地（或无需提前读地）完成解码过程，这样的解码效率就很高了。前缀码对应的树（或者说解码自动机）一定是一棵树（若仅由01编码，一定是一棵二叉树；若为定长编码，一定是一棵完全树），其中字母是叶子节点。因此前缀码又称即时码、非延长码。

显然，定长码也一定是前缀码。

讨论：放宽为唯一可译码是否可以更优？

在前文求霍夫曼编码的过程中，为了使得编码成为一棵树而便于讨论，我们加强了问题的条件，令编码必须为前缀码。那么，当我们将条件放宽为唯一可解，编码后的文件长度是否可以比前缀码编码的更小呢？

为了解决这个问题，介绍一下克拉夫特不等式(Kraft-McMillan’s inequality)：
设 Σ = { a 1 , a 2 , . . . , a n } \Sigma=\{a_1,a_2,...,a_n\} Σ={a1​,a2​,...,an​}，r-ary编码(即编码中用到$r$种字符)的$C$中对应编码的长度为$l_1,l_2,\dots ,l_n$，则编码$C$是前缀编码的必要条件是：

$$\sum _{i=1}^n{r}^{-l_i}\le 1$$
反之，一定存在满足Kraft不等式长度条件的前缀编码。

而编码$C$是唯一可译编码的必要条件也是：
$$\sum _{i=1}^n{r}^{-l_i}\le 1$$
反之，一定存在满足Kraft不等式长度条件的唯一可译编码。

因此，前缀编码和唯一可译编码的Kraft不等式限定的最小长度条件是一致的，换言之，它们对文件的最大压缩能力是相同的。所以我们的答案是将条件放宽为唯一可解后编码后的文件长度也不会比前缀码编码的最优方案更小。