信息熵与压缩编码基础

信息熵与压缩编码基础

一、简介

信息熵：

信息熵用于解决信息的量化问题，将原本模糊的信息概念进行计算得出精确的信息熵值，信息熵是描述消息中，不确定性的值。
它与信息对应，但是概念相反，信息可以用来消除不确定性，也就是消除熵，降低熵值。
信息熵计算公式：

熵用 bit（比特）为单位，其中 P 是概率质量函数,b为变量数。

0 ≤ H ( X ) ≤ l o g n 0≤H(X)≤logn0≤H(X)≤logn

二、举例

问题：一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？

解：
由题目得该消息有：
共42个符号
A类符号个数：6 →P ( A ) = 6 42 P(A)=\frac{6}{42}P(A)= $\frac{6}{42}$

B类符号个数：4 →P ( B ) = 4 42 P(B)=\frac{4}{42}P(B)= $\frac{4}{42}$

C类符号个数：9 →P ( C ) = 9 42 P©=\frac{9}{42}P©= $\frac{9}{42}$

D类符号个数：4 →P ( D ) = 4 42 P(D)=\frac{4}{42}P(D)= $\frac{4}{42}$

E类符号个数：19 →P ( E ) = 19 42 P(E)=\frac{19}{42}P(E)= $\frac{19}{42}$

二、压缩编码基础

问题一：如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？

问题二：一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？请用实例验证。

明天解决