互信息和点互信息

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_30366667/article/details/88322113

互信息和点互信息

创建日期 星期四 07 三月 2019

点互信息PMI(Pointwise Mutual Information)

点互信息就是很亮两个失误的相关性,
在概率论中,我们知道,如果x跟y不相关,则p(x,y)=p(x)p(y)。二者相关性越大,则p(x, y)就相比于p(x)p(y)越大。用后面的式子可能更

好理解,在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x),自然就表示x跟y的相关程度。

互信息

和上一个一样,不过推广到两个随机变量之间的相关性;
比较就是求两个概率分布的相关性;

展开阅读全文

没有更多推荐了,返回首页