信息论与编码课程大作业
题 目: 二进制哈夫曼编码
学生姓名: 学 号: 2010020200 专业班级: 2010级电子信息班
2013年 5月 18日
二进制哈夫曼编码
1、二进制哈夫曼编码的原理及步骤
1、1信源编码的计算
设有N个码元组成的离散、无记忆符号集,其中每个符号由一个二进制码字表示,信源符号个数n、信源的概率分布P={p(si)},i=1,?..,n。且各符号xi的以li个码元编码,在变长字编码时每个符号的平均码长为L??p(xi)li ;
i?1n信源熵为:H(X)???p(xi)logp(xi) ;
i?1n唯一可译码的充要条件:?m?Ki?1 ;
i?1n 其中m为码符号个数,n为信源符号个数,Ki为各码字长度。
构造哈夫曼数示例如下图所示。
1.00 0.60 0.40
0.30 0.30 0.15 0.15 0.60 0.09 0.05 0.03 0.03 0.04 1、2 二元霍夫曼编码规则 (1)将信源符号依出现概率递减顺序排序。
(2)给两个概率最小的信源符号各分配一个码位“0”和“1”,将两个信源符号合并成一个新符号,并用这两个最小的概率之和作为新符号的概率,结
1
果得到一个只包含(n-1)个信源符号的新信源。称为信源的第一次缩减信源,用s1 表示。
(3)将缩减信源 s1 的符号仍按概率从大到小顺序排列,重复步骤(2),得到只含(n-2)个符号的缩减信源s2。
(4)重复上述步骤,直至缩减信源只剩两个符号为止,此时所剩两个