Pointwise mutualinformation(PMI), 或point mutual information是衡量两个随机变量的相关度
X,Y 独立,则PMI(X,Y)= log1=0
X,Y相关,P(X)与P(X|Y)的大小不确定
完全相关时,为Log(1/P(x)) 或Log(1/P(Y)) >0
MI为PMI的期望。
例子:
MI (X,Y)=0.2141709
================
自信息和PMI
======================
归一化的PMI 归一化到[-1,+1] :0 时不相关、-1时从不共现 1时完全共现
PMI(适用于MI)链式法则:
证明如下:
应用:PMI被用来寻找词语之间的搭配和关联
好的搭配组合有很高的PMI,因为共发生的概率只是比每个单词出现的概率稍微低一些。相反地,一对单词的出现概率要比它们共同发生的概率高得多,得到一个小的PMI分数。
举例:
我们想衡量like这个词的极性(正向情感还是负向情感)。我们可以预先挑选一些正向情感的词,比如good。然后我们算like跟good的PMI
其中p(like)是like在语料库中出现的概率(出现次数除以总词数N),p(like,good)表示like跟good在一句话中同时出现的概率(like跟good同时出现的次数除以N2)。
PMI(like,good)越大表示like的正向情感倾向就越明显。
参考:
https://en.wikipedia.org/wiki/Pointwise_mutual_information