互信息的定义--未完整版

互信息是什么？
他的定义是$$I(x,y)=log\frac{p(x,y)}{p(x)p(y)}$$
其中p(x)代表x,单独出现的频率。

I(x,y)越大，则x,y的关联程度越强。
接近于0，则关联程度越弱。
小于0，则表示两者不存在关联。

至于互信息为什么可以表现出这种情况，还是一个等待探索的过程。