1.什么是信息熵?
2.一串消息包含A,B,C,D,E共5类符号,其内容
AABBBBAAAA CCCCCCCCCE EEEEEDDDDE EEEEEEEEEE EE,
请问其信息熵是多少?如果分别采用香农-范诺编码,霍夫曼编码,压缩率分别是多少?
3.一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节? 如果将其保存为非压缩格式的BMP文件,文件有多少字节?请用实例验证。
一、信息熵
1948年,香农提出了“信息熵”的概念,解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon(香农)从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
通俗讲,信息熵就是用来描述信息多少的。
二、信息熵与消息
信息熵计算公式:
H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,…n)
H(x)=-(0.14log(2,0.14))-(0.1log(2,0.1))
-(0.21log(2,0.21))-(0.1log(2,0.1))-(0.45log(2,0.45))
=2.043
使用香农-范诺编码:
符号 | A | B | C | D | E |
---|---|---|---|---|---|
编码 | 111 | 10 | 01 | 110 | 00 |
压缩率:1-(3x0.14+2x0.1+2x0.21+3x0.1+2x0.45)/8=0.72
使用霍夫曼编码:
符号 | A | B | C | D | E |
---|---|---|---|---|---|
编码 | 1010 | 10110 | 10 | 10111 | 0 |
压缩率:1-(4x0.14+5x0.1+2x0.21+5x0.1+1x0.45)/8=0.70
三、实例演示
文件字节=长像素值x宽像素值x色深(颜色位数)/8
一幅1024x768的24位RGB彩色图像,每个像素占24bit,共1024x768x24/8=2 , 359 , 296B。
如果将其保存为非压缩格式的BMP文件,其大小为2 , 359 ,350B。因为图片的文件头+位图信息头+颜色信息为 54 字节。