[DataAnalysis]点互信息

参考：https://www.jianshu.com/p/79de56cbb2c7

点互信息（pointwise mutual information）用于衡量两个事物之间的相关性，比如两个词。公式如下：

这里的来源于信息论，可以简单地理解为当对取之后就将一个概率转换为信息量，以2为底时可以简单理解为用多少个bits可以表示这个变量。

例子

我们想衡量like这个词的情感。我们可以预先挑选一些正向情感的词，比如good。然后计算like和good的PMI。

越大则表示like的正向情感倾向就越明显。

互信息

衡量的是两个随机变量的相关性，即一个随机变量中包含另一个随机变量的信息量。

可以看出，互信息其实就是对X和Y的所有可能取值的点互信息的加权和。