熵和互信息的一点理解

一.熵

先回顾一下前面自信息的定义。

再看看熵的定义：是随机变量不确定性的度量。乍看一下，这个跟前面的自信息的定义有点类似，下面举个例子看看这两个概念之间的区别。

 当上表中，先验概率为1/16的事件，其自信息量是4；而当事件先验概率等概为1/8时，所有的事件自信息量均是3。可以看出，不等概时部分时间的自信息量是比等概时大的，而我们知道，信息量在等概的时候是最大的。这是因为，我们一般考虑的是一个整体情况，不等概时，可能存在部分事件自信息量大的情况，但整体而言，等概的情况下自信息量是最大的。比如说，在计算通信容量的时候，假如有一个有限信道，其速率是1Mbit/s，误码率为0，即无扰动信道。另外有一个无限信道，其在无扰情况下速率为2Mbit/s，其出现干扰的概率是2/3。也就是说，该信道只有1/3的概率是可以正常工作的。那么，该如何去衡量这个信道的好坏，显然，这里不能单纯的比较速率，例如，我们以3秒为门限时间，前一个信道3s可以传3M，后一个信道3s只能传2M,.也就是说，某一个特定事件的自信息量大并不能代表信整体的自信息量大。那么，对于通信而言，该怎么去衡量一个信源呢，这里，考虑信源整体的平均自信息量的大小也就是熵的定义公式：

互信息

关于互信息，可以理解为一个随机变量中包含的另一个随机变量的信息量。或者理解为，由于另一个随机变量导致原随机变量不确定度的缩减量。定义如下：