熵编码概念

信源的熵：

• 用于度量消息的平均信息量，和信息的不确定性；
• 越是随机的、前后不相关的信息，其熵越高（信息越无序，我们表达它要付出的代价越高）；
  
• 信息的熵为信源无损编码后平均码长的下限（最短码长）
• 公式理解：编码一个符号的最佳bit长度是-logP，P是这个符号出现的概率；一段信息的长度就是所有符号长度求期望。

熵编码的基本思想：

• 尽可能的减少信源的冗余，使前后的码字之间尽量更加随机，减少前后相关性，更加接近其信源的香农熵，用更少的比特传递更多的信源信息

常用熵编码算法：

• 变长编码：运算复杂度和编码效率都较低，常用方法：哈夫曼编码、香农-费诺编码等。用于计算资源比较吃紧，对压缩效率又比较高的场合；
• 算术编码：运算较复杂，但编码效率更高。

————————————————
版权声明：本文为CSDN博主「weixin_36049506」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_36049506/article/details/96135418