互信息——事件相关性度量

延续上一次对熵的理解，今天来看看互信息。
先说概念：互信息（Mutual Information）也叫转移信息（transinformation），是两个随机变量间相互依赖性的量度。
顾名思义，互信息就是两件事为彼此提供的信息。当我知道了事件 A 之后，事件 B 的确定性增加多少，也就是让事件 B 减少多少的信息量。上一篇文章当中我们说一件事的信息量（或熵）就是你想知道这件事的发生需要多少信息。那么为什么相关的两件事会导致信息量的变化呢？举一个非常直观的例子，我们在做一个游戏，抛两枚硬币，然后猜两枚硬币分别是字还是花。每个人都会默认两枚硬币抛出字或花的概率相同，是1/2. 猜出最终结果，我们需要的信息量是：

也就是如果你先问我第一枚硬币是字吗，我回答是或不是，然后你再问我第二枚硬币是字吗，我再回答一次，你就知道了两枚硬币的结果，信息量为二比特。那假如现在我告诉你第二枚硬币是我特制的，两面都是字呢？明显抛一次硬币得到的结果的信息量发生了一些变化，之前你需要问我两个问题，而现在只需要问一个就可以了，因为你已经知道第二枚硬币的结果一定是字。
由此就可以看出，当一个事件为另一个事件减少越多不确定性，这两个事件的相关性就越强。如果是两个独立事件，它们之间的相关性就是