香农编码的gui编码_三种编码方式的比较

香农编码

概念：

香农编码是是采用信源符号的累计概率分布函数来分配字码的。香农编码是根据香农第一定理直接得出的，指出了平均码长与信息之间的关系，同时也指出了可以通过编码使平均码长达到极限值。香农第一定理是将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。

香农编码属于不等长编码，通常将经常出现的消息变成短码，不经常出现的消息编成长码，从而提高通信效率。香农编码严格意义上来说不是最佳码，它是采用信源符号的累计概率分布函数来分配码字。

编码步骤如下：

(1)将信源符号按概率从大到小顺序排列，为方便起见，令

(2)按计算第i个符号对应的码字的码长(取整)；

(3) 计算第i个符号的累加概率 ；

(4)将累加概率变换成二进制小数，取小数点后 位数作为第i个符号的码字。

香农编码的效率不高，实用性不大，但对其他编码方法有很好的理论指导意义。一般情况下，按照香农编码方法编出来的码，其平均码长不是最短的。即不是紧致码(最佳码)。只有当信源符号的概率分布使不等式左边的等号成立时，编码效率才达到最高

例1对如下信源编码：

其香农编码如表所示，

以i=4为例

，累加概率 &