点互信息PMI（Pointwise Mutual Information）

最近在看文献时遇到了PMI(Pointwise Mutual Information),中文名叫点互信息.

概念与定义

• PMI这个指标通常用来衡量两个事物之间的相关性，比如两个词，其原理很简单，公式如下
• $PMI(x;y)=\log \frac{p(x,y)}{p(x)p(y)}=\log \frac{p(x|y)}{p(x)}=\log \frac{p(y|x)}{p(y)}$
• 在概率论中，如果x和y不相关，则p(x,y) = p(x)p(y)。如果二者相关性越大，则p(x,y)就相比于p(x)p(y)越大,那PMI也就越大。
• 从后面两个条件概率可能更好的解释，$\frac{p(x|y)}{p(x)}$越大，表明x和y越相关
• log取自信息论中对概率的量化转换

NLP中使用PMI的一个简单例子

• 比如要衡量like这个词的极性（正向情感 or 负向情感）先选择一些正向情感词如good，然后计算like和good的PMI
• $PMI(like,good)=\log \frac{p(like,good)}{p(like)p(good)}$
• 其中p(like,good)表示like和good在同一句话中出现的概率 = $\frac{like和good同时出现次数}{总词{数}^2}$,p(like)表示like出现概率，p(good)表示good出现概率
• PMI越大代表like正向情感倾向越明显