【信息论基础第四讲】信息的流动——平均互信息及其性质

一、平均互信息与互信息

1、互信息

互信息量表示接收到消息yj后，获得关于事件xi的信息量。

2、 从熵的角度来定义平均互信息量：

 从信源X熵H(X)到信宿熵H(X|Y)熵减少了，同时为信宿Y提供了信息量，而信息从信源到信宿的变化是流经信道造成的，因此平均自信息又可以理解为流经信道的信息量。

3、从数学表达式角度定义平均互信息量：

4、从互信息的角度定义平均互信息量 

平均互信息是互信息的期望。特备注意小写的xy是互信息，大写的XY是平均互信息。

5、易混淆符号区分 

二、平均互信息性质

1、对称性：I(X;Y) = I(Y;X)

证明如下：

2、非负性：I(X;Y) ≥ 0 

证明如下：

3、极值性：I(X;Y) ≤ H(X) ； I(Y;X) ≤ H(Y)

证明如下：

三、平均条件互信息和平均联合互信息

1、平均条件互信息：I(X;Y | Z)

 

2、平均联合互信息：I(XY;Z) 

3、维拉图角度理解

 

 

四、信息处理定理 

如何理解以上不等关系？

我们知道马尔科夫过程未来的状态只与当前有关，与过去无关，所以Y的状态只与X有关，Z的状态只与Y有关，也就是说X和Y之间的关联程度大于X和Z之间的关联程度：

所以在Z已知的情况下X的平均不确定度大于Y已知的情况下X的平均不确定度；H(X)和H(Y)之间的交集大于H(X)和H(Z)。

严格的数学证明如下：

 

五、凸性

1、凸集合（convex）

 2、概率矢量

 概率矢量全体构成的区域R是凸集

3、凸函数 

4、熵的凸性 

5、Jesen不等式

 6、KT条件（KKT条件）

f(α)函数的自变量是一个概率矢量α，矢量α的每一维的数值分别为α1，α2...αK，f(α)函数的某个自变量取值α'在其每一维偏导数都存在且连续 ，则这时我们称f(α')在R上为极大值

满足这个结果的充要条件就是如下两个约束式子。

关于KKT条件进一步讲解和在最优化中的应用可以参考下面

https://zhuanlan.zhihu.com/p/556931657

7、平均互信息的凸性