互信息的理解

定义

百度百科的定义是这样的：
互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。

我试图用人话翻译一下：
你回家吃饭，并不知道老妈今天做什么菜，这时候你老爹突然告诉你：“妈妈说她决定要减肥。”
你拍脑子一想：那她至少不会做很油腻的菜式了。
老妈做什么菜是随机的，她决定要不要减肥也是随机的，但是后者的信息让你极大的减少了对前者的不确定性，而这两件信息相互依赖的程度，就是它们之间的互信息。

数学上的解释

随机变量 X，另一个随机变量 Y，他们之间的互信息是：
I(X; Y) = H(X) - H(X | Y)
H(X) 是X的信息熵
H(Y) 是Y的信息熵
H(X | Y) 是已知Y的条件下，X的信息熵

用图来表示是这个样：
两个离散随机变量 X 和 Y 的互信息可以定义为

$$I(X;Y)={\int }_Y{\int }_{X}p(x,y)log\left(\frac{p(x,y)}{p(x)p(y)}\right)$$

当 X 和 Y 独立时，p(x,y) = p(x) p(y)，因此：
$$log\left(\frac{p(x,y)}{p(x)p(y)}\right)=log1=0$$

【注】：
1，互信息一定是对称且非负的。
2，MI可以解答非线性的关系，皮尔逊相关系数是线性的。