互信息和点互信息

互信息和点互信息

创建日期 星期四 07 三月 2019

点互信息PMI(Pointwise Mutual Information)

点互信息就是很亮两个失误的相关性,
在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。二者相关性越大，则p(x, y)就相比于p(x)p(y)越大。用后面的式子可能更

好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x)，自然就表示x跟y的相关程度。

互信息

和上一个一样,不过推广到两个随机变量之间的相关性;
比较就是求两个概率分布的相关性;