点互信息pmi

最新推荐文章于 2022-09-28 21:08:39 发布
最新推荐文章于 2022-09-28 21:08:39 发布
阅读量231 收藏 1
点赞数
分类专栏： 机器学习基础 文章标签： python 算法 数据挖掘 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43301900/article/details/120619613
版权

由于在文本处理中会用到互信息所以做一下总结

pmi（Pointwise Mutual Information）：

pmi(a,b) = log\frac{p(a,b)}{p(a)p(b)}

= log\frac{p(a|b)}{p(a)} = log\frac{p(b|a)}{p(b)}

如果a和b不相关值为1。当ab条件独立时，p(a|b) = p(a)此时pmi为0。

如果ab的联合概率越大则该值越大。

在文本处理中经常会遇到计算pmi

其中 p(a,b) 为 a和b共现的次数/总字符数（如果ab均代表字符的情况下也就是unigram）

p(a) 为 a出现的次数/总字符数，p(b) 为b出现的次数/总字符数

这里联合概率是存在一些问题的因为p(a,b) = p(b,a) 但实际文本处理过程中a和b两个字符存在顺序。

参考文献：

互联网时代的社会语言学：基于SNS的文本数据挖掘 | Matrix67: The Aha Moments

新词发现的信息熵方法与实现 - 科学空间|Scientific Spaces

点互信息和互信息 PMI - 简书

weixin_43301900
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NLP之【点互信息PMI】——衡量两变量之间的相关性
Yale-曼陀罗
09-27 1792
M = M / expected # Silence distracting warnings about log(0): with np . errstate(divide = 'ignore') : # np.errstate()用于浮点错误处理的上下文管理器。M = np . log(M) M [ np . isinf(M) ] = 0.0 # log(0)=0 # np.isinf()用于按元素测试正无穷或负无穷 if positive : M [ M < 0 ] = 0.0 return M。
PMI(Pointwise Mutual Information)
Cheney的博客
01-19 5659
公式 几句废话 先来一两句废话，要想解释好点互信息必须学会科学上网，当然如果没有条件本篇博客会具体介绍。上网百度得到的搜索结果如下图1-1所示，事实证明百度不够自信，这么重要的概念百度学术里面没有？淦！居然都是来自CSDN，然而CSDN有个致命的缺点，就是对于某个问题的讲解原创比较少，后面的人基本就是copy了。当然CSDN大牛依旧非常多，向原创致敬，向大佬看齐！接着跑去了维基百科搜索了一番，结果如图1-2所示。没有对比就没有伤害，不是为了黑而黑，实事求是的讲百度在相关学术方面做的真的不咋地...
02、PMI点互信息 & PPMI（Positive PMI）
weixin_38659482的博客
03-06 1717
在词的向量化表示中，简单的One-Hot会遇到数据稀疏和无法计算词之间距离的问题；分布式频次表示会遇到高频词误导计算结果的问题。基于点互信息的词向量表示方式恰好可以解决上述问题。 PMI点互信息 1. 概念和公式 点互信息（Pointwise Mutual Information，PMI）是信息轮中用来衡量两个事物之间的相关性的一个指标。例如对于词A和词B的点互信息为： 其中，表示词A和词B共同出现的频率，表示词A出现的频率，表示词B出现的频率。 2. 示例 上下文 我 喜欢 游泳。
点互信息和互信息 PMI
qq_15821487的博客
09-02 303
在数据挖掘或者信息检索的相关资料里，经常会用到PMI（Pointwise Mutual Information）这个指标来衡量两个事物之间的相关性。PMI的定义如下： 这个定义所体现的原理其实是相当直白的。在概率论中，我们知道，如果x跟y不相关，则 P(x,y) = P(x)P(y)。二者相关性越大，则 P(x,y) 就相比于 P(x)P(y) 越大。根据条件概率公式，你还可以写成 这也很好理解，在y出现的情况下x出现的条件概率 p(x|
点互信息PMI（Pointwise Mutual Information）
Rolandxxx的博客
09-28 1789
所谓的随机变量，即随机试验结果的量的表示，可以简单理解为按照一个概率分布进行取值的变量，比如随机抽查的一个人的身高就是一个随机变量。可以看出，互信息其实就是对X和Y的所有可能的取值情况的点互信息PMI的加权和，而点互信息只是对其中两个点进行相关性判断。因此，点互信息这个名字还是很形象的。在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。用后面的式子可能更好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x)，自然就表示x跟y的相关程度。
PMI条件互信息的近邻估计源代码
11-12
PMI值得估计方法，非参数，采用KNN最近邻法
matlabkpca代码-PCA-PMI:“用于量化网络中直接关联的部分互信息”的代码
05-26
“用于量化网络中直接关联的部分互信息”的代码 “ PCA”与主成分分析无关。 在这里，它是PC算法（），一种网络结构推断算法。 PMI是相互信息的一部分，是估计条件独立性的新标准。 如何使用密码 我们实现的所有方法...
基于K阶互信息估计的位置感知网络表征学习.docx
06-10
作者提出了一种名为PMI（Position-aware Network Representation Learning via k-step Mutual Information Estimation）的新模型，该模型通过最大化节点与其各阶邻居之间的互信息来捕获节点的位置信息。互信息是一种...
基于互信息MI(数据特征选择算法)的分类预测，多输入单输出模型 在概率论和信息论中，两个随机变量的互信息（Mutual In
最新发布
10-07
互信息是点间互信息（PMI）的期望值。互信息最常用的单位是bit。 多特征输入单输出的二分类及多分类模型。程序内注释详细，直接替换数据就可以用。 程序语言为matlab，程序可出分类效果图，迭代优化图，混淆矩阵图
基于PMI与BTM的船舶事故原因文本挖掘.docx
11-29
在词语层面，采用点互信息（PMI）算法找出频繁共现的词对，揭示事故因素间的关联。PMI能度量两个词共同出现的频率相对于各自独立出现频率的差异，从而识别出有意义的词语关联。在主题层面，通过双词主题模型（BTM）...
逐点互信息PMI（Pointwise mutual information）
白马负金羁
10-28 1万+
在数据挖掘或者信息检索的相关资料里，经常会用到PMI这个指标来衡量两个事物之间的相关性。而在NLP中，考察两个词的相关性也非常有意义。孔子说：“不知其人视其友” 。英语俗语中也有类似表述：“You shall know a person by the company it keeps.” 后来语言学家 Firth在此基础上造出“You shall know a word by the company it keeps” 这句语言学名句。可见考察两个词共同出现（co-occurrence）的性质就相当有必要，
点互信息（PMI）和正点互信息（PPMI）
一个小菜鸟的博客
03-29 4132
最近在看代码的时候，发现论文用到了PPMI，索性这里记录一下两个概念： PMI（点互信息） 用来衡量两个事物之间的相关性 公式如下 如何理解？ 在概率论当中，如果说x与y两个变量无关，那么p(x,y)就等于p(x)p(y) 如果说x与y越相关，那么p(x,y)与p(x)p(y)的比值就越大 为了更好理解，这里有一个例子： 分母19是所有的词对共同出现的总次数（1+1+1+1+2+1+1+1+6+4） 这里的例子进行理解的时候，先是红色框的0.32，是根据当前词
词之间的相关性--点互信息PMI算法
orangerfun的博客
08-17 1939
PMI
情感分析之PMI互信息
lby503274708的博客
04-03 3365
PMI（Pointwise Mutual Information）,这里当然不是指经济上的那个PMI，而是点互信息，作用是衡量两个随机变量的相关性。可以用于情感分析中的情感分数计算，计算公式如下： pmi(w1,w2)=log(p(w1,w2)p(w1)∗p(w2))=log(p(w1∣w2)p(w1))=log(p(w2∣w1)p(w2)) pmi(w_1,w_2)=log(\frac{p(w_...
【NLP】什么是点互信息
小马日记
09-10 855
1、什么是点互信息 2、sklearn：点互信息和互信息
[DataAnalysis]点互信息
热门推荐
TOMACAT的博客
10-18 3万+
参考：https://www.jianshu.com/p/79de56cbb2c7 点互信息（pointwise mutual information）用于衡量两个事物之间的相关性，比如两个词。公式如下： 这里的来源于信息论，可以简单地理解为当对取之后就将一个概率转换为信息量，以2为底时可以简单理解为用多少个bits可以表示这个变量。 例子 我们想衡量like这个词的情感。我们可以预先...
互信息
wulimmya的博客
05-12 207
mutual information
python点互信息pmi
09-09
点互信息PMI(Pointwise Mutual Information)是用于衡量两个事物之间相关性的指标。在机器学习中，可以使用sklearn库中的mutual_info_score函数来计算两个变量的点互信息PMI。 该函数可以用于计算两个变量之间的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值