信息熵与信源编码

一、信息熵
信息熵信息是一个比较抽象的概念，信息熵的概念在1984年由香农第一次提出，它的本质是对我们司空见惯的“不确定现象”的数学化度量。譬如说，如果天气预报说“今天中午下雨的可能性是百分之九十”，我们就会不约而同想到出门带伞；如果预报说“有百分之五十的可能性下雨”，我们就会犹豫是否带伞，因为雨伞无用时确是累赘之物。显然，第一则天气预报中，下雨这件事的不确定性程度较小，而第二则关于下雨的不确定度就大多了。
二、例题
一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-范诺编码，霍夫曼编码，压缩率分别是多少？
信息熵计算公式：

信息熵h(x)=6/42log₂42/6+4/42log₂4/42+…+19/42log₂42/19=2.043
理论上需要三位二进制编码，42x3=126，实际上（9+19)x2+6x3+(4+4)x4=106,压缩率为20/126。一幅1024768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？请用实例验证24位RGB彩色图像即每个像素占24bit。1024768个像素点，即 1024x768x24=18874368（bit）。除以8将其转换为byte （8bit=1byte) &#