参考:https://www.jianshu.com/p/79de56cbb2c7
点互信息(pointwise mutual information)用于衡量两个事物之间的相关性,比如两个词。公式如下:
这里的来源于信息论,可以简单地理解为当对
取
之后就将一个概率转换为信息量,以2为底时可以简单理解为用多少个bits可以表示这个变量。
例子
我们想衡量like这个词的情感。我们可以预先挑选一些正向情感的词,比如good。然后计算like和good的PMI。
越大则表示like的正向情感倾向就越明显。
互信息
衡量的是两个随机变量的相关性,即一个随机变量中包含另一个随机变量的信息量。
可以看出,互信息其实就是对X和Y的所有可能取值的点互信息的加权和。