信源剩余度的计算java_信源剩余度.ppt

信源剩余度.ppt

电子信息工程学院 电子信息工程学院 电子信息工程学院 2.7.1 信源的相关性 1、关于离散信源熵 马尔可夫信源 无记忆信源 离散无记忆信源 离散平稳信源 进一步简化 等概率分布时 实际信源 H∞用Hm+1 近似 实际的离散信源不能是平稳的，对于非平稳的信源，可以用平稳信源的H∞来近似。 进一步简化 信源 无记忆 2.7 信源剩余度与自然语言的熵 等概率分布的离散无记忆信源，用最大熵 来近似。其中， 。 可见，信源符号之间依赖关系越强，每个符号提供的平均信息量越小。每个符号提供的平均自信息随着符号间的依赖关系长 度的增大而减少。为此引进信源的剩余度(也称冗余度或多余度)来衡量信源的相关性程度。 2.7 信源剩余度与自然语言的熵 熵的相对率：一个信源实际的信息熵与具有同样符号集的最大熵的比值。即相对率： 是信源的实际熵； 是最大熵， 为信源的符号数。 信源剩余度：它等于1减去熵的相对率： 可见，剩余度 越大，表示信源的实际熵 越小信源符号之间记忆长度越小，符号间的依赖程度越小。 2.7 信源剩余度与自然语言的熵 2、自然熵语言 (1)把英语看成离散无记忆信源 英语字母26个，加上一个空格，共27个符号。 所以英语信源的最大熵(等概率) =log27=4.76(比特/符号) 如果只考虑英文书中个字母出现的概率，对英文书中各字母的出现概率加以统计，得到表2.6。由此得第一级近似为无记忆信源的熵： (比特/符号) 2.7 信源剩余度与自然语言的熵 字母 概率 字母 概率 空格 0.1859 N 0.0574 A 0.0642 O 0.0632 B 0.0127 P 0.0152 C 0.0218 Q 0.0008 D 0.0317 R 0.0484 E 0.1031 S 0.0514 F 0.0208 T 0.0796 G 0.0152 U 0.0228 H 0.0467 V 0.0083 I 0.0575 W 0.0175 J 0.0008 X 0.0013 K 0.0049 Y 0.0164 L 0.0321 Z 0.0005 M 0.0198 表2.6 英文字母概率表 2.7 信源剩余度与自然语言的熵 如果不考虑符号间的依赖关系，近似认为信源是离散无记的， 按表2.6的概率分布，随机地选择英语字母并排列起来，得到一个输出序列： AI_NGAE_ITE_NNR_ASAEV_OTE_BAINTHA_HYROO_PORE_SETRYGAIETRWCO_EHDUARU_EUEU_C_FT_NSREM_DIY_EESE_F_O_SRIS_R_UNNASHOR… 这个序列看起来有点像英语，但不是。实际英语的某个字母出现后，后面的字母并非完全随机出现，而是满足一定关系的条件概率分布。例如T后面出现H,R的可能性较大，出现J,K,M,N的可能性极小，而根本不会出现Q,F,X。即英语字母之间有强烈的依赖性。上述序列仅考虑了字母出现的概率，忽略了依赖关系。 2.7 信源剩余度与自然语言的熵 (2)把语看成马尔可夫信源 为了进一步逼近实际情况，考虑字母间的依赖关系，可把英语信源近似看做一阶，二阶，…∞阶马尔可夫信源，它们的熵为： H2=3.32(比特/符号) H3=3.1(比特/符号) 若把英语信源近似成二阶马尔可夫信源，可得到某个输出序列：IANKS_CAN_OU_ANG_RLER_THTTED_OF_TO_SHOR_OF_TO_HAVEMEM_A_I_MAND_AND_BUT_WHISS_ITABLY_THERVEREER… 2.7 信源剩余度与自然语言的熵 这个序列中被空格分开的两字母或三字母，组成的大都是有意义的英语单词，而四个以上字母组成的“单词”，很难从英语词典中查到。因为该序列仅考虑了3个以下字母之间的依赖关系。实际英语字母之间的关系延伸到更多的符号，单词之间也有依赖关系。 有依赖关系的字母数越多，即马尔可夫信源的阶数越高，输出的序列就越接近于实际情况。当依赖关系延伸到无穷远时，信源输出的就是真正的英语。 2.7 信源剩余度与自然语言的熵 对于实际的英文字母组成的信源，其实际熵H∞有许多近似值。这是由于统计方法不同或所取的样本不一致而引起的差异，一般认为： 英语的马尔可夫的极限熵：H∞ =1.4(比特/符号) 剩余