信息论随笔（二）信息熵及其性质

回顾

上次讲到自信息量，也就是用来表示一个发生概率为p的事件含有的信息量，或者说不确定度。一个事件的发生的概率越小，它的不确定度越大，含有的信息量也就越大。

信息熵

那么如何来衡量一个系统（多个事件以不同的概率发生，它们发生的概率之和为1）的信息量呢？

考虑这么一个例子，某人参加一个比赛，赢的概率为0.3，输的概率为0.7，那么这个系统的信息量怎么计算？

一个直觉的计算方法是：.

即对系统中不同事件的自信息量取概率平均，从而得到这个系统的平均不确定度，也就是信息熵。

信息熵衡量了一个系统的平均不确定度，表示了这个系统的信息量。

从通信的角度来看，信息熵表示平均意义上每发一个符号的信息量，或者信源平均的不确定度。

性质

对称性

信息熵的对称性指只要一个系统总的概率分布不变，即使系统中的不同事件的概率发生了交换，信息熵仍然不变。

非负性

信息熵总是大于等于零的。一个事件的信息量至少为0，而不可能是负的，信息熵是信息量的平均，自然也不会是负的。

确定性

若事件发生概率为1，那么信息熵确定为0。

连续性

当不同事件的概率出现微小变化时，信息熵的变化也很小。

扩展性

略

可加性

H(XY)=H(X)+H(Y|X)

强可加性

当系统X和Y独立，H(XY)=H(X)+H(Y)