信息熵与压缩编码基础

一、什么是信息熵？

信息嫡：是一个数学上颇为抽象的概念，在这里不妨把信息嫡理解成某种特定信息的出现概率（(离散随机事件的出现概率)。一个系统越是有序，信息摘就越低;反之，一个系统越是混乱，信息嫡就越高。信息嫡也可以说是系统有序化程度的一个度量。

信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。
Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。

二、一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？

解答：
1.信息熵
在AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE中总共含42个符号，其中6个A，4个B,9个C，4个D，19个E，其对应的概率分别为1/7,2/21,3/14,2/21,19/42。然后我们进行对其概率分布，计算其信息熵为2.043

2.香农-凡诺编码：

所以经过计算这道题的香农编码为 2.1905。
3.霍夫曼编码
数据结构中学习过霍夫曼编码相关算法，利用二叉树层层算。

计算得 霍夫曼编码 2.0714

三、一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？

解:
(1）如果RGB占3字节的话，文件共1024768×3=2_359_296字节
(2) BMP:BMP是英文Bitmap(位图)的简写，它是Windows操作系统中的标准图像文件格式，能够被多种Windows应用程序所支持。随着Windows操作系统的流行与丰富的Windows应用程序的开发，BMP位图格式理所当然地被广泛应用。这种格式的特点是包含的图像信息较丰富，几乎不进行压缩，但由此导致了它与生俱来的缺点–占用磁盘空间过大。所以，目前BMP在单机上比较流行。
保存为非压缩格式的BMP文件，文件共有2_359_351字节。