信息熵与压缩编码基础

一、什么是信息熵

信息熵： 每个符号所含信息量的统计平均量。
信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量。

二、举例

一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？

P（A）：6/42
P（B）：4/42
P（C）：9/42
P（D）：4/42
P（E）：19/42
信息熵：
H(x)=-6/42*log₂(6/42) - 4/42 log₂(4/42) - 9/42 * log₂(9/42) - 4/42 * log₂(2/42) - 19/42 * log₂(19/42)
H(x)≈2.041
理想编码：3 42 =126
香农-凡诺编码

如图，A：110；B：1110；C：10；D：1111；E：0
压缩率：126/（19+18+18+16+16）=1.45
霍夫曼编码
同理，压缩率也为1.45

一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？

1024* 768 * 24 /8 ≈ 2304KB