本文介绍了互信息的概念，作为衡量两个随机变量X和Y之间依赖关系的强度。当X和Y独立时，互信息I(X;Y)为0，表示给定X对Y的分布没有影响。互信息不仅表明两者是否存在关系，还能量化其关系的紧密程度。通过熵的计算，展示了互信息与条件熵、边际熵之间的关系，以及其非负性和对称性等基本性质。
我们在之前研究过两个随机变量的独立性，我们定义若两个随机变量X,Y满足
P(X,Y)=P(X)P(Y)则我们说随机变量X,Y独立。下面来直观地理解这个公式，可以发现，如果X,Y独立，那么已知X，将不会对Y的分布产生任何影响，即是说P(Y)=P(Y|X)，这个结果的证明也很简单，由贝叶斯公式：P(Y|X)=P(X,Y)P(X)=P(X)P(Y)P(X)=P(Y)即证。
由此可以看出，独立性反应了已知X的情况下，Y的分布是否会改变，或者说，在给定随机变量X之后，能否为Y带来额外的信息。然而独立性只能表示出两个随机变量之间是否会有关系，但是却不能刻画他们的关系大小。下面我们引入互信息，它不仅能说明两个随机变量之间是否有关系，也能反应他们之间关系的强弱。我们定义互信息I(X,Y)：
I(X;Y)=∫X
最低0.47元/天 解锁文章
扫一扫
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
