信息熵

自信息量

  单符号离散信源的数学模型可用一维随机变量$X$的概率空间分布来描述：

  如果信源发出的消息$x_i$的概率为$p(x_i)$，则它所能提供的自信息量为：
$$I(x_i)=-lo{g}_{2}p(x_i)$$含义：

• 信源发出信号前信宿对消息的不确定性；
• 信源发出信号后提供给信宿的信息量，即消除不确定性所需的信息量。
  性质：
• 值非负
• 单调递减
  

联合自信息量

  自信息量的推广，涉及两个随机事件的离散信源的数学模型：

$$I(x_i{y}_j)=-lo{g}_{2}p(x_i,y_i)$$当$X、Y$独立时：
$$I(x_i{y}_j)=-lo{g}_{2}p(x_i,y_i)=-lo{g}_{2}p(x_i)-lo{g}_{2}p(y_i)=I(x_i)+I(y_j)$$

条件自信息量

后验概率：
$$I(y_j|x_i)=-lo{g}_{2}p(y_j|x_i)$$信道转移概率：
$$I(x_i|y_j)=-lo{g}_{2}p(x_i|y_i)$$
自信息量、联合自信息量和条件信息量之间关系：
$$\begin{array}{rl}I(x_i{y}_j)& =-lo{g}_{2}p(x_i,y_j)\\ & =-lo{g}_{2}p(y_j|x_i)p(x_i)=I(y_j|x_i)+I(x_i)\\ & =-lo{g}_{2}p(x_i|y_j)p(y_j)=I(x_i|y_j)+I(y_j)\end{array}$$

互信息量

互信息量 = 先验不确定度 - 后验不确定度
$$I(x_i;y_j)=I(x_i)-I(x_i|y_j)$$性质：
$$\begin{array}{rl}I(x_i;y_j)& =I(x_i)-I(x_i|y_j)\\ & =lo{g}_2\frac{p(x_i|y_j)}{p(x_i)}\\ & =lo{g}_2\frac{p(x_i,y_j)}{p(y_j)p(x_i)}\\ & =lo{g}_2\frac{p(y_j|x_i)}{p(y_j)}\\ & =I(y_j)-I(y_j|x_i)\\ & =I(y_j;x_i)\end{array}$$

• 互信息量的值可正可负；
• 统计独立的变量之间互信息量为0；
• 两个消息之间的互信息量不大于其中任何一个消息的自信息量。

信息熵

  随机变量$X$的信息熵为：自信息量$I(x)$的数学期望，简称熵。
$$H(x)=E(I(x))=-\sum _{x\in X}p(x)(lo{g}_{2}p(x))$$性质：

• 熵非负；
• 信源发出前，表示信源的平均不确定度；
• 信源发出后，表示信源提供的平均信息量；
• 统计量，不具有个体性质。