信息熵与压缩编码基础

一、简介

• 信息熵：

  • 信息熵用于解决信息的量化问题，将原本模糊的信息概念进行计算得出精确的信息熵值，信息熵是描述消息中，不确定性的值。
  • 它与信息对应，但是概念相反，信息可以用来消除不确定性，也就是消除熵，降低熵值。

• 信息熵计算公式：
  

熵用 bit（比特）为单位，其中 P 是概率质量函数,b为变量数。

• $0\le H(X)\le logn$

二、举例

• 问题：一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？

• 解：
  由题目得该消息有：
  共42个符号
  A类符号个数：6 →$P(A)=\frac{6}{42}$
  B类符号个数：4 →$P(B)=\frac{4}{42}$
  C类符号个数：9 → P ( C ) = 9 42 P(C)=\frac{9}{42} P(C)=