香农编码、哈夫曼编码、费诺编码的特点、优缺点及应用

 哈夫曼编码

[特点]：统计字符集中每个字符在电文中出现的平均概率(概率越大，要求编码越短)。利用哈夫曼树的特点：权越大的叶子离根越近；将每个字符的概率值作为权值，构造哈夫曼树。则概率越大的结点，路径越短。在哈夫曼树的每个分支上标上0或1：结点的左分支标0，右分支标1把从根到每个叶子的路径上的标号连接起来，作为该叶子代表的字符的编码。

对信源的统计特性没有特殊要求，编码效率较高，对编码的环境要求比较简单，性能上优于香农编码和费诺编码。

[优点]：保证概率大的符号对应于短码，概率小的符号对应于长码而且所有的短码得到充分利用；且每次缩减信源的最后两个码字总是最后一位不同，前面各位相同，这两个特点保证了哈夫曼编码一定是最佳的。虽然哈夫曼编码构造出来的码不唯一，但是其平均码长是相等的，所以不影响编码效率和数据压缩性能。

[缺点]：如果对单个字母进行编码，平均码字长可能还与理论上的最优编码率还有一定差距，哈夫曼编码算法是从上而下构造树。当信源符号集很大时，这种方法不方便；从硬件实现上来看，它有变长码固有的缺点：需要有缓冲存储器；从信道传输上来看，对应的长码一旦产生误码，某个码字的前缀部分可能成为另一个码字而发生误差，并导致错误后传。

[应用]：在实际通信中使得数据压缩和传输达到最小，因此它在文件传真、语音处理和图像处理中获得了广泛的应用。

香农编码

[特点]：香农编码是是采用信源符号的累计概率分布函数来分配字码的。香农编码是根据香农第一定理直接得出的，指出了平均码长与信息之间的关系，同时也指出了可以通过编码使平均码长达到极限值。香农第一定理是将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。香农编码属于不等长编码，通常将经常出现的消息变成短码，不经常出现的消息编成长码，从而提高通信效率。香农编码严格意义上来说不是最佳码，它是采用信源符号的累计概率分布函数来分配码字。只有当信源符号的概率分布使不等式左边的等号成立时，编码效率才达到最高。

[优点]：是最佳编码，拓展性较好，有唯一的编码。依据编码定理编码，具有重要的理论意义。考虑了信源的统计特性，使经常出现的信源符号对应较短的码字，使平均码长缩短，实现了信源压缩。

[缺点]：香农码的编码效率是比较低的、多余度较大且实用性不强。

[应用]：应用于数据压缩、图像压缩等

费诺编码

[特点]：将信源符号按照概率大小进行递减排序。将一组信源符号分成概率之和尽可能相等的两组，将上面的一组编码为0，下面一组编码为1（反之亦可）。重复该步骤，直至不能分组。费诺编码属于概率匹配编码，编码方法不唯一。但一般也不是最佳的编码方法，只有当信源的概率分布呈现p(ai)=sli分布形式的条件下，才能达到最佳码的性能。

[优点]：该编码考虑了信源的统计特性，使概率较大的信源符号能对应码长较短的码字，较之香农编码一定提升了编码效率。

[缺点]：它不一定是最佳码。当信源符号较多时，有一些符号概率比较接近，使分组变多码长也随之增加，编码过程复杂，有时短码未必能得到充分利用。

[应用]：费诺编码在电子计算机、电视、遥控和通讯等方面广泛使用。