熵和互信息

熵和互信息

读文献想要算信道容量的时候，遇到了需要用到熵和互信息相关的推导，所以找纪佬要来信息论的课件拿来看了看，在这里也是一个记录。

定义

先搬上来两个定义。
熵的定义：
互信息量的定义：

（E: Expectation; p:possibility）

Venn图理解——低阶

接下来我们从Venn图开始了解熵的概念。H(·)表示熵，那么它有类似于如下所示的关系。
H(X,Y)为联合熵，可以用并集来理解；
H(X|Y)为条件熵，可以用补集来理解；
I(X;Y)为互信息量，可以用交集来理解。

通过Venn图，不难得出如下性质：（表达式见下）
集合X和它本身的交集等于它本身。
集合X和Y的交集是从X的基础上挖去X中不含Y的部分。
集合X和Y的交集是从Y的基础上挖去Y中不含X的部分。
集合X和Y的交集是从X和Y相加的基础上挖去X或Y拥有的部分。（类似于容斥定理的感觉，容斥不懂的同学可以百度，低维度情形下是个很简单的定理）

Venn图理解——高阶

好的，掌握到这里基本上就ok了，但是在信息论研究中我们还是要经常用一点条件互信息的东西，那么可以用这个Venn图来看。

（图转侵删）

这里，我们的讨论就把Z当作所谓的“条件”来讲咯。
那么如下的四个性质是不难推出来的。值得一提的是，互信息量中的I(X;Y|Z)的这个Z相当于是在I(X;Y)基础上挖下来涉及Z的部分，这么一来就可以和H进行对比理解了。

注意的地方

和集合有所不同的是，熵和互信息是可累加的量，也就是说H(A)+H(B)并不等于H(A+B)，而需要再加一个I(A;B)！这一点请务必注意。