视频压缩通信学习 day1（信息量，熵编码，哈夫曼编码）

1.信息量：表示该符号所需要的位数。

 假设符号 aj 在整条消息中重复出现的概率为 Pj ，则该符号的信息量定义为：

En = - log2( Pj )

信息量表示为以2为底的对数，是正值。

举例

输入信源字符串 : aabbaccbaa

a 、 b 、 c 出现的概率分别为 0.5 、 0.3 和 0.2 ，他们的信息量分别为：

Ea = -log 2 (0.5) = 1

Eb = -log 2 (0.3) = 1.737

Ec = -log 2 (0.2) = 2.322

总信息量也即表达整个字符串需要的位数：

E = Ea * 5 + Eb * 3 + Ec * 2 = 14.855 位

(1) 若使用等长编码

因为字符串有 3 个不同的字符，又因为 2 位二进制数能表示 4 个不同的字符，如a=00,b=01.c=10,

那么，这 10 个字符就需要 20 位二进制数表示

2.霍夫曼编码

例子， 视频压缩通信_西安邮电大学_中国大学MOOC(慕课) 2.21节

平均码长和信息熵越接近，编码效率越高（计算方法在视频，一般法（2.21），树状结构法（2.22））