计算机不等长编码有哪些,第9讲最佳不等长编码_W

《第9讲最佳不等长编码_W》由会员分享，可在线阅读，更多相关《第9讲最佳不等长编码_W(38页珍藏版)》请在人人文库网上搜索。

1、第九讲最佳不等长编码Review不等长编码定理H (U ) d n 1k ikk =1P1 = 0Shannon编码例1： 设离散无记忆信源 S = s1s2s3s4s5s6s7 p0.200.190.180.170.150.100.01i 试对其进行二元Shannon编码。 Shannon编码信源符号 概率pklog1pk累加码长nk概率累加概率对应码字的二进制数ss110.202.34300.000000 000ss220.192.4130.200.0000111s30.182.4830.390.0110s40.172.5630.570.1001s50.152.7430.170.1011s。

2、60.103.3440.890.1110s70.016.6670.990.111111000101110010111101111110信源符号s1码字0000s1s012s2001s3011s4100011s410s3s0115ss5101s61110s711111101061s1710s7当满足nk= log1p k 时最佳kFano编码信源概率符号pks10.20s20.19s30.18s40.17s50.150.01s60.10s7第一次分组001001第二次分组0 101第三次分组0101第四次分组0001001110110011101码字11110s101s0s1ss21010102。

3、(P2=0.19)10s3s3110s41s51010ss244(P4=0.17)10s5sShannon码6s1110s71061s7Fano码Fano编码信源概率符号pks10.20s20.19s30.18s40.17s50.150.01s60.10s7第一次分组01第二次分组0101第三次分组0101第四次分组01码字000100111011011101111当满足 pkk- n= 2k 时最佳Huffman编码1010.390.61 011.00信源符号 概率pk0.260.350码字s10.20s20.19s30.18s40.17s50.150s60.1001s70.0110.111。

4、0 101 0.26101100000101001100111信源符号码字s110s211s30000s301s410s5ss400101061s5010s60110s7011110s1s71s2编码效率比较编码方式平均码长n编码效率Shannon编码3.140.831Fano编码2.740.953Huffman编码2.720.96是否最佳？Huffman编码最佳性证明【定理1】对于给定的信源，存在最佳唯一可译二元码，其最小概率的两个码字的长度最长且相等， 它们之间仅最后一位码元取值不同(一个为0， 另一个为1)。u lK最大存在另外一个码字其长度也为lK，并且与cK仅最后一位码元取值不同p1。

5、(一个为0，另一个为1)满足 的码字为cK1s1, s2,sK-1, sKp1,p2,pK-1, pKp2 pK -1 pKc1, c2,cK-1, cKl1,l2,lK-1,lK假设lk lKs1, s2, sk p1, p2, pk., sKpk pK.,pK反证法s1, s2, , sk ,., sKp1, p2, pk ,.,pKlk lKpk pKc1, c2, l1,l2, ck ., cK lk .,lKc1,l1,c2, , cK, ., ckl2, , lK, .,lkKL = p l+pl+ +pl =p l+pl+ +p l1 1kk L -LKL1 1kKKk= pkl。

6、K+ pK lk - ( pklk+ pK lK )矛盾= ( pk - pK )(lK - lk ) 0Huffman编码最佳性证明【定理1】对于给定的信源，存在最佳唯一可译二元码，其最小概率的两个码字的长度最长且相等， 它们之间仅最后一位码元取值不同(一个为0， 另一个为1)。u lK最大存在另外一个码字其长度也为lK，s1, s2,sK-1, sKp ,p ,p, p12并且与cK仅最后一位码元取值不同(一个为0，另一个为1)K-1 K满足 的码字为cK1c1, c2,cK-1, cK l1,l2,lK-1,lK唯一可译码(最佳)反证法假设不成立0s1存在另外一个码字其长度也为lK， 并。

7、且与cK仅最后一位码元取值不同 (一个为0，另一个为1)异字头码(最佳)1s02011s31100s41s510s61s17s7Huffman编码最佳性证明【定理1】 对于给定的信源，存在最佳唯一可译二元码，其最 小概率的两个码字的长度最长且相等，它们之间仅最后 一位码元取值不同(一个为0，另一个为1)。u lK最大存在另外一个码字其长度也为lK， 并且与cK仅最后一位码元取值不同s1, s2,sK-1, sKp1,p2,pK-1, pK(一个为0，另一个为1)满足 的码字为cc1, c2,cK-1, cKK1l,l ,l,l12K-1K回顾Huffman 编码过程Ss1 sK -1s：K最佳。

8、p1 pK -1 pK(1)s(1) s(1)s(1)如果S： 1K -2K -1最佳p(1) p(1)p(1)对缩减信源为最佳码，则对原始信源也是最佳码。11s( K -3)pS(K-3)： ( K -3)1K -2s(K -3) 2p( K -3) 2K -1s( K -3) 3p(K -3)最佳3S(K-2)： ( K -2) 1s,( K -2) ,( K -2) 2s最佳( K -2)p1p2【定理2】 对缩减信源为最佳码，则对原始信源也是最佳码。KK 1K证明:LL= p ls1s2 sspc= ckkp= pS：ppp11 k =1l1= l11112 K -1K最小 K -2l。

9、= l2p= pc2 =c2 pklk+2pK -(lK -1 +1) +2 pK (2lK -1 +1)ccccK -2=K -2 -2-2pK-2=K -2ck =1Kl1=K -2KK -1k1-1Klp12K -1Kllll12K -1kks c= (cp l+l( p=+lp+)1l p- + (=p p+ +pKp-1 )K -1KKk =1K -1 0)K -1pK K-1K KK -1p 12sK-11llS ： 1s= pK -1c= (c1)l K= l+1)1= l1p p 1K= K -1pklk + ( pK +K -p1 K -1l=p2l2=1= p2 pK -1。

10、k =12 22)= L + ( pK+ pK -1l= lpK -c12c=2 pKc-K2 -1K- 2 K- 2p l l=pp l + p最小常数l= l +1K -112K K -1K -1K-1K-1llK=K -1 +1【定理2】 对缩减信源为最佳码，则对原始信源也是最佳码。Huffman编码最佳 思考:试对下述离散无记忆信源S进行三元Huffman编码。Ss1,s2,s3,s4,s5,s6s7s8 p =i 0.40.180.10.10.070.060.050.04思考:信源符号s1 s2概率pk 0.400.1810.150.2712000.60121.00s30.1002s。

11、40.10s50.07s60.060s70.051s80.042最佳?【提示】 增加1个概率为0的信源符号思考:r元Huffman编码？ 信源符号概率pk码字s10.40s20.18s30.10s40.10s50.07s60.06012s70.05020.090.2210020.3811.0001011122122200s80.041s90201思考:r元Huffman编码？ 进行编码q?= (r -1)q + rY进行编码增加0概率符号NHuffman编码实际应用中的问题例： 设离散无记忆信源S= s1 ,s2 ,s3 ,s4 ,s5 ,P(S )0.40.20.20.10.1试对其进行二元。

12、Huffman编码。编法一编法二 0.6 00.6 01码字 Ssp(sk)11 码字S p(sk)0.4111 0.401s2 0.20.40100s1s0.40.2010.201102000s3 0.2011s30.20010 s4 0.1010.2 1010s40.100.20011 s5 0.1011s5 0.11平均码长编法一：Sp(sk) 编法一s10.41编法二005n1 =p(skk=1)nk=0.41+0.22+0.23+0.142=2.2 s2s30.20100011001001000110110.2 10编法二：编码效率相同5s40.1n2 =p(sk )nk=0.42+。

13、0.222+0.132=2.2s50.1k=1 K 码字长度的方差 s2 = E(n -n)2 =p(s )(n-n)2kkki=1编法一：1s2 =0.4(1-2.2)2 +0.2(哪2-种2.2)方2 +法0.2(更3-好2.2)？2 +0.1(4-2.2)2 2 =1.36编法二：2s 2 = 0.4(2-2.2)2 +0.2(2-2.2)2 2+0.1(3-2.2)2 2 = 0.16Huffman编码实际应用中的问题速率匹配问题误差扩散问题概率匹配问题例令离散无记忆信源 a1a2a3 U 0.50.30.2 (a) 求对U(即U1)的最佳二元码、平均码长和编码效率。(b) 求对U2 。

14、(即U1U2)的最佳二元码、平均码长和编码效率。(c) 求对U3 (即U1U2U3 )的最佳二元码、平均码长和编码效率。 a1a2a3 a aU 0.50.3a a0.2 a aa a112a2 a1a1a3a3 a1a2 a21 2332a3a3 U1U 2U1U2U30.250.150.150.100.100.090.060.060.04a1a1a1a1a1a2a1a2a1a2a1a1a1a1a3a1a3a1a3a1a1a1a2a2a2a1a20.1250.0750.0750.0750.0500.0500.0500.0450.045a2a2a1a1a2a3a1a3a2a2a1a3a3a1a。

15、2a2a3a1a3a2a1a2a2a2a1a3a30.0450.0300.0300.0300.0300.0300.0300.0270.020a3a1a3a3a3a1a2a2a3a2a3a2a3a2a2a2a3a3a3a2a3a3a3a2a3a3a30.0200.0200.0180.0180.0180.0120.0120.0120.008h (U ) =H (U )R= 1.485031.5= 0.99002h (U 2 ) =H (U )R= 1.485031.5= 0.99002h (U 3 ) =H (U )R=1.485031.4956666 = 0.99289扩展信源、数据压缩本节小结(本节内容见课本69-73页)常见不等长编码方法 Shannon编码 Fano编码 Huffman编码Huffman编码 最佳码 编码方法(二元编码、r元编码、扩展源编码) 应用作 业3.53.6(a)(b)3.93.113.13。