点互信息PMI（Pointwise Mutual Information）

点互信息PMI（Pointwise Mutual Information）

记录看论文遇到的一个知识点Pointwise Mutual Information

PMI（Pointwise Mutual Information）这个指标来衡量两个事物之间的相关性（比如两个词）。

其原理很简单，公式如下：

在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。二者相关性越大，则p(x,y)就相比于p(x)p(y)越大。用后面的式子可能更好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x)，自然就表示x跟y的相关程度，这里的越相关是指越正相关！ 因为条件概率越大，关联性就越高（指正相关）。上面这句话可以这样理解，如果在条件y发生的情况下，x发生的概率为1，那么就说明x事件包含了y事件（注意不能是y事件包含了x事情，两者正相关。如果如果在条件y发生的情况下，x发生的概率为0，那么是不是x和y就互斥。
这里的log来自于信息论的理论，可以简单理解为，当对p(x)取log之后就将一个概率转换为了信息量（要再乘以-1将其变为正数），以2为底时可以简单理解为用多少个bits可以表示这个变量。

点互信息PMI其实就是从信息论里面的互信息这个概念里面衍生出来的。其衡量的是两个随机变量之间的相关性，即一个随机变量中包含的关于另一个随机变量的信息量。所谓的随机变量，即随机试验结果的量的表示，可以简单理解为按照一个概率分布进行取值的变量，比如随机抽查的一个人的身高就是一个随机变量。可以看出，互信息其实就是对X和Y的所有可能的取值情况的点互信息PMI的加权和，而点互信息只是对其中两个点进行相关性判断。因此，点互信息这个名字还是很形象的。

互信息即：

例子

点互信息例子