一、什么是信息熵
- 信息是个很抽象的概念。人们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。
- 1948年,香农提出了“信息熵”的概念,才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon(香农)从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
- 信息熵定义公式:H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,…n)
可以看出平均信息量即为信息熵。
二、解答问题
一串消息包含A,B,C,D,E共5类符号,其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少?如果分别采用香农-凡诺编码,霍夫曼编码,压缩率分别是多少?
1.信息熵计算:
2.香农-凡诺编码及压缩比
3.霍夫曼编码及压缩比
三、彩色图像的大小
一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节? 如果将其保存为非压缩格式的BMP文件,文件有多少字节?
24 位彩色相当于每个像素占 3 字节
1024 × 768 × 3 = 2359296 b
此外,BMP 图像还包含文件头、位图信息头、颜色信息,一共占 54 字节
故图像所占大小为:2359296 + 54 = 2359350 字节