点互信息(PMI)预测utterance关键词

PMI（Pointwise Mutual Information）

机器学习相关文献中，可以看到使用PMI衡量两个变量之间的相关性，比如两个词，两个句子。原理公式为：

在概率论中，如果x和y无关，p(x,y)=p(x)p(y)；如果x和y越相关，p(x,y)和p(x)p(y)的比就越大。从后两个条件概率可能更好解释，在y出现的条件下x出现的概率除以单看x出现的概率，这个值越大表示x和y越相关。

log取自信息论中对概率的量化转换（对数结果为负，一般要再乘以-1，当然取绝对值也是一样的）。

自然语言处理中使用PMI的例子

比如，要衡量like这个词的极性(正向情感or负向情感)。先选一些正向情感词如good，计算like跟good的PMI，