信息熵与压缩编码基础

什么是信息熵？

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。信息熵是通过一组具有任意概率的事件集合来定义的。
1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱（百度百科）
信息熵定义公式：

问题二

在AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE中总共含42个符号，其中6个A，4个B,9个C，4个D，19个E，其对应的概率分别为1/7,2/21,3/14,2/21,19/42。然后我们进行对其概率分布，计算其信息熵为2.043
计算得 香农编码 2.1905
计算得 霍夫曼编码 2.0714

问题三

2.25MB（2,363，392）