PMI

Pointwise mutualinformation(PMI), point mutual information是衡量两个随机变量的相关度

  X,Y 独立,则PMI(X,Y)= log1=0

  X,Y相关,P(X)与P(X|Y)的大小不确定

完全相关时,为Log(1/P(x)) 或Log(1/P(Y)) >0

MI为PMI的期望。

例子:

 

 MI (X,Y)=0.2141709

 ================

 

自信息和PMI

 

 ======================

归一化的PMI  归一化到[-1,+1]  :0 时不相关、-1时从不共现 1时完全共现

PMI(适用于MI)链式法则:


证明如下:

 

应用:PMI被用来寻找词语之间的搭配和关联

 

好的搭配组合有很高的PMI,因为共发生的概率只是比每个单词出现的概率稍微低一些。相反地,一对单词的出现概率要比它们共同发生的概率高得多,得到一个小的PMI分数。

举例:

我们想衡量like这个词的极性(正向情感还是负向情感)。我们可以预先挑选一些正向情感的词,比如good。然后我们算like跟good的PMI

其中p(like)是like在语料库中出现的概率(出现次数除以总词数N),p(like,good)表示like跟good在一句话中同时出现的概率(like跟good同时出现的次数除以N2)。

PMI(like,good)越大表示like的正向情感倾向就越明显。

 

参考:

https://en.wikipedia.org/wiki/Pointwise_mutual_information

http://www.rainng.com/pmi/

 


  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值