图文实例带你了解香农编码和霍夫曼编码

实例

一串消息包含A，B，C，D，E共5类符号，其内容为AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE，分别对其进行香农编码和霍夫曼编码

我们可以看到内容总共含42个符号，其中6个A，4个B,9个C，4个D，19个E，其对应的概率分别为1/7,2/21,3/14,2/21,19/42
可以看到其概率分布如下

A	B	C	D	E
1/7	2/21	3/14	2/21	19/42

信息熵计算为2.043

香农编码

编码步骤

(1)将信源符号按概率从大到小顺序排列，为方便起见

(2)按计算第i个符号对应的码字的码长(取整)；

(3) 计算第i个符号的累加概率 ；

(4)将累加概率变换成二进制小数，取小数点后 位数作为第i个符号的码字。

实例演示

E	C	A	B	D
19/42	3/14	1/7	2/21	2/21

最终编码结果：

E	C	A	B	D
00	01	10	110	111

A	B	C	D	E
6	4	9	4	19

霍夫曼编码

香农-范诺编码算法并非总能得到最优编码。1952年, David A. Huffman提出了一个不同的算法，这个算法可以为任何的可能性提供出一个理想的树。

香农-范诺编码是从树的根节点到叶子节点所进行的的编码，哈夫曼编码算法却是从相反的方向，暨从叶子节点到根节点的方向编码的。

编码步骤

1.为每个符号建立一个叶子节点，并加上其相应的发生频率
2.当有一个以上的节点存在时，进行下列循环：

1. 把这些节点作为带权值的二叉树的根节点，左右子树为空
2. 选择两棵根结点权值最小的树作为左右子树构造一棵新的二叉树，且至新的二叉树的根结点的权值为其左右子树上根结点的权值之和。
3. 把权值最小的两个根节点移除
4. 将新的二叉树加入队列中。

3.最后剩下的节点暨为根节点，此时二叉树已经完成。

实例演示

E	C	A	B	D
19/42	3/14	1/7	2/21	2/21

E	C	A	B	D
0	10	110	1110	1111

A	B	C	D	E
6	4	9	4	19

比较

香农编码：

霍夫曼编码：

理论熵：2.043
可以看到霍夫曼编码的压缩率更好

参考资料

香农-范诺编码