[Machine Learning]--PMI(Pointwise Mutual Information)

[转载自]：blog.csdn.net/luo123n/article/details/48574123, 感谢原作者。

1. Basic Concepts

机器学习相关文献里面，经常会用到PMI（Pointwise Mutual Information）这个指标来衡量两个事物之间的相关性（比如两个词）。其原理很简单，公式如下：

$$PMI(x;y) = log\frac{p(x, y)}{p(x)p(y)}=log\frac{p(x|y)}{p(x)}=log\frac{p(y|x)}{p(y)}$$
在概率论中，我们知道，如果x跟y不相关，则 $p(x,y)=p(x)p(y)$。二者相关性越大，则 $p(x,y)$就相比于 $p(x)p(y)$越大。用后面的式子可能更好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x)，自然就表示x跟y的相关程度。

这里的$log$来自于信息论的理论，可以简单理解为，当对$p(x)$取log之后就将一个概率转换为了信息量（要再乘以-1将其变为正数），以2为底时可以简单理解为用多少个bits可以表示这个变量。（更正式的解释请阅读信息论相关理论）

2. Example

举个自然语言处理中的例子来说，我们想衡量like这个词的极性（正向情感还是负向情感）。我们可以预先挑选一些正向情感的词，比如good。然后我们算like跟good的PMI, 即有

$$PMI(like,good) =log \frac{p(like, good)}{p(like)p(good)}$$
其中 $p(like)$是like在语料库中出现的概率（出现次数除以总词数N）， $p(like,good)$表示like跟good在一句话中同时出现的概率（like跟good同时出现的次数除以N2）。
$PMI(like,good)$越大表示like的正向情感倾向就越明显。

3. Mutual Information

点互信息PMI其实就是从信息论里面的互信息这个概念里面衍生出来的,互信息即：

$$I(X;Y)=\sum_{x\in X}\sum_{y\in Y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$$
其衡量的是两个随机变量之间的相关性，即一个随机变量中包含的关于另一个随机变量的信息量。所谓的随机变量，即随机试验结果的量的表示，可以简单理解为按照一个概率分布进行取值的变量，比如随机抽查的一个人的身高就是一个随机变量。
可以看出，互信息其实就是对X和Y的所有可能的取值情况的点互信息PMI的加权和。因此，点互信息这个名字还是很形象的。