点互信息（PMI）和正点互信息（PPMI）

PMI的定义

PMI（Pointwise Mutual Information）点互信息：这一指标用来衡量两个事物之间的相关性。

如下：

在概率论中，如果x和y无关，p(x,y)=p(x)p(y)；如果x和y越相关，p(x,y)和p(x)p(y)的比就越大。从后两个条件概率可能更好解释，在y出现的条件下x出现的概率除以单看x出现的概率，这个值越大表示x和y越相关。
log来自于信息论的理论，而且 log 1 = 0 ，也恰恰表明P(x,y) =
P(x)P(y)，相关性为0，而且log是单调递增函数，所以 “P(x,y) 就相比于 P(x)P(y) 越大，x 和 y 相关性越大”
这一性质也得到保留。

举例

• 通常我们可以用一个Co-occurrence Matrix来表示对一个语料库中两个单词出现在同一份文档的统计情况，例如
  以计算PMI(information,data)为例则有（其中分母上的19是上表所有数值之和）：
  其他中间结果如下表所示：
• 但是从上表中你可能会发现一个问题，那就是你有可能会去计算 log 0 = -inf，即得到一个负无穷。

正点互信息PPMI

为此人们通常会计算一个 PPMI（Positive PMI） 来避免出现
-inf，即