信息熵与压缩编码基础

1、信息熵

1. 信息熵是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量。
2. 日常语境中的信息量与信息熵的关系。
3. 在自然语言处理中，信息熵只反映内容的随机性（不确定性）和编码情况，与内容本身无关。
4. 随机变量的信息熵大小是客观的，又是主观的，与观测者的观测粒度有关。
5. 信息熵与热力学熵有相似之处，但不是同一个东西。
   参考链接：信息熵到底是什么

2、信息熵计算实例与压缩编码

问题：一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？

1、信息熵计算

：

然后可以看出A、B、C、D、E的概率分别是1/7、1/6、4/21、3/14、2/7，所以我们可以求出

2、香农—范诺编码

3、图片格式切换及所占存储空间

问题: 一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？请用实例验证。

1、BMP图片大小计算

24位真彩，即每个像素占24bit，一个字节可以储存8位数据。1024*768个像素点，1024 76824=18874368（bit），再除以8转换为byte（8bit=1byte)=2359296(byte)。
又因为1024byte=1KB，再除以1024等于2304KB，如果再除以1024就是2.25MB了
换算法则

1024×768×24=18874368（bit）

2、实例验证

1、BMP格式

然后点击文件，选择另存为，选择图片存储格式即可

由计算与实例验证可知，非压缩格式的BMP文件，其所在大小为2.25MB