点互信息（PMI）和正点互信息（PPMI）

最新推荐文章于 2024-04-22 11:04:50 发布
最新推荐文章于 2024-04-22 11:04:50 发布
阅读量4.4k 收藏 15
点赞数 6
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28790663/article/details/115312247
版权

最近在看代码的时候，发现论文用到了PPMI，索性这里记录一下两个概念：

PMI（点互信息）

用来衡量两个事物之间的相关性

公式如下

如何理解？

在概率论当中，如果说x与y两个变量无关，那么p(x,y)就等于p(x)p(y)

如果说x与y越相关，那么p(x,y)与p(x)p(y)的比值就越大

为了更好理解，这里有一个例子：

分母19是所有的词对共同出现的总次数（1+1+1+1+2+1+1+1+6+4）

这里的例子进行理解的时候，先是红色框的0.32，是根据当前词对(information,data)的次数6除以所有的词对数目(19)得来的

0.32 = 6/19

蓝色框的0.58是当前词，information的出现的总次数(11)除以总词对数(19)得来的

0.58=11/19

同理，绿色框也一样

PPMI（正点互信息）

 

正点互信息只是比点互信息多了一个判断最大值的操作，小于0的值都改成了0

cs224u Homework  PPMI+ LSA +GloVe+ Dice coefficient + t-test reweighting +subword information 
段智华的博客
05-04 737
cs224u Homework PPMI+ LSA +GloVe+ Dice coefficient + t-test reweighting +subword information 本文包括以下内容： PPMI as a baseline Gigaword with LSA at different dimensions Gigaword with GloVe for a smal...
使用PPMI改进共现矩阵
及时总结
01-13 1264
使用PPMI改进共现矩阵 共现矩阵的元素表示两个单词同时出现的次数，这里的次数并不具备好的性质，举个例子，有短语叫the car，因为the是个常用词，如果以两个单词同时出现的次数为衡量相关性的标准，与drive 相比，the和car的相关性更强，这是不对的。 点互信息(Pointwise Mutual Information,PMI)：表达式如下，P(x)表示x发生的概率，P(y)表示y发生的概率，P(x,y)表示x和y同时发生的概率。PMI的值越高，表明x与y相关性越强。 用共现矩阵重写PMI表达式：
02、PMI点互信息 & PPMI（Positive PMI）
weixin_38659482的博客
03-06 2063
在词的向量化表示中，简单的One-Hot会遇到数据稀疏和无法计算词之间距离的问题；分布式频次表示会遇到高频词误导计算结果的问题。基于点互信息的词向量表示方式恰好可以解决上述问题。 PMI点互信息 1. 概念和公式 点互信息（Pointwise Mutual Information，PMI）是信息轮中用来衡量两个事物之间的相关性的一个指标。例如对于词A和词B的点互信息为： 其中，表示词A和词B共同出现的频率，表示词A出现的频率，表示词B出现的频率。 2. 示例 上下文 我 喜欢 游泳。
PMI(Pointwise Mutual Information)
Cheney的博客
01-19 6365
公式 几句废话 先来一两句废话，要想解释好点互信息必须学会科学上网，当然如果没有条件本篇博客会具体介绍。上网百度得到的搜索结果如下图1-1所示，事实证明百度不够自信，这么重要的概念百度学术里面没有？淦！居然都是来自CSDN，然而CSDN有个致命的缺点，就是对于某个问题的讲解原创比较少，后面的人基本就是copy了。当然CSDN大牛依旧非常多，向原创致敬，向大佬看齐！接着跑去了维基百科搜索了一番，结果如图1-2所示。没有对比就没有伤害，不是为了黑而黑，实事求是的讲百度在相关学术方面做的真的不咋地...
点互信息PMI（Pointwise Mutual Information）
Rolandxxx的博客
09-28 2413
所谓的随机变量，即随机试验结果的量的表示，可以简单理解为按照一个概率分布进行取值的变量，比如随机抽查的一个人的身高就是一个随机变量。可以看出，互信息其实就是对X和Y的所有可能的取值情况的点互信息PMI的加权和，而点互信息只是对其中两个点进行相关性判断。因此，点互信息这个名字还是很形象的。在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。用后面的式子可能更好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x)，自然就表示x跟y的相关程度。
点互信息pmi
weixin_43301900的博客
10-05 292
由于在文本处理中会用到互信息所以做一下总结 pmi（Pointwise Mutual Information）： 如果a和b不相关值为1。当ab条件独立时，p(a|b) = p(a)此时pmi为0。 如果ab的联合概率越大则该值越大。 在文本处理中经常会遇到计算pmi 其中 p(a,b) 为 a和b共现的次数/总字符数（如果ab均代表字符的情况下也就是unigram） p(a) 为 a出现的次数/总字符数，p(b) 为b出现的次数/总字符数 这里联合概率是存在一些问题的因为p(a,b)
2018_WWW_Dual Graph Convolutional Networks for Graph-Based Semi-Supervised Classification
weixin_46645827的博客
01-10 1497
2018_WWW_Dual Graph Convolutional Networks for Graph-Based Semi-Supervised Classification—(The World Wide Web Conference, 2018.04.23)-- Chenyi Zhuang, Qiang Ma 论文下载地址： https://doi.org/10.1145/3178876.3186116 发表期刊：IW3C2 (International World Wide Web Confere
自然语言处理中的embeddings
u013596454的博客
09-29 2893
1. 背景 ​ 自2010年代初以来，嵌入一直是自然语言处理（NLP）的主流热词之一。将信息编码成低维向量表示，在现代机器学习算法中很容易集成，这在NLP的发展中起到了核心作用。嵌入技术最初集中在单词上，但很快就开始将注意力转移到其他形式上：从图结构，如知识库，到其他类型的文本内容，如句子和文档。 ​ 接下来，我们会从最初的one-hot开始，探索embddings在nlp领域的发展。 2. 概览 ​ 在embeddings技术出现以前，nlp领域应用较多的是以one-ho
《自然语言处理-基于预训练模型的方法》笔记
github_34349558的博客
08-13 5650
《自然语言处理-基于预训练模型的方法》笔记 文章目录《自然语言处理-基于预训练模型的方法》笔记@[toc]〇.写在前面一、绪论(一) NLP 任务体系I.任务层级II.任务类别III.研究层次(二) 预训练的时代二、NLP 基础(一) 文本表示I.独热向量II.分布式表示III.词嵌入表示IV.词袋表示(二) NLP 任务I.语言模型II. 基础任务III. 应用任务(三) 基本问题I. 文本分类问题II. 结构预测问题III. 序列到序列问题(四) 评价指标I. 标准答案明确的情况II. 标准答案不明确的
点互信息和互信息 PMI
qq_15821487的博客
09-02 366
在数据挖掘或者信息检索的相关资料里，经常会用到PMI（Pointwise Mutual Information）这个指标来衡量两个事物之间的相关性。PMI的定义如下： 这个定义所体现的原理其实是相当直白的。在概率论中，我们知道，如果x跟y不相关，则 P(x,y) = P(x)P(y)。二者相关性越大，则 P(x,y) 就相比于 P(x)P(y) 越大。根据条件概率公式，你还可以写成 这也很好理解，在y出现的情况下x出现的条件概率 p(x|
互信息的计算
01-21
互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性.综合网上的一些有关互信息的计算，这里一共提供7种不同的程序供大家参考；后期可以继续交流。
【DL经典回顾】距离度量大汇总（28-点间互信息（Pointwise Mutual Information, PMI））
最新发布
悦学共鸣，温柔以待，汇聚光芒，共同成长
04-22 1565
点间互信息（Pointwise Mutual Information, PMI）是一种信息论的度量，用于衡量两个事件共同发生的概率与这两个事件独立发生的概率的乘积之比。
NLP之【点互信息PMI】——衡量两变量之间的相关性
Yale-曼陀罗
09-27 2540
M = M / expected # Silence distracting warnings about log(0): with np . errstate(divide = 'ignore') : # np.errstate()用于浮点错误处理的上下文管理器。M = np . log(M) M [ np . isinf(M) ] = 0.0 # log(0)=0 # np.isinf()用于按元素测试正无穷或负无穷 if positive : M [ M < 0 ] = 0.0 return M。
用交叉熵(cross entropy)计算点互信息PMI
m0_61688615的博客
03-19 665
最近读了论文Surface Form Competition: Why the Highest Probability Answer Isn't Always Right，在读代码时，发现论文对于点互信息的计算，是通过交叉熵进行的。通过函数cross_entropy_list()，得到H(y|x)，H(y|domain)，H(y)。注意，我之前一直以为x和(x,domain)是两回事，通过代码发现其实x就是(x,domian)。这里H(y)的计算，是以常数序列25为输入计算的。对于LM，我们想要计算。
词之间的相关性--点互信息PMI算法
orangerfun的博客
08-17 2234
PMI
点互信息
weixin_34112181的博客
10-03 125
点互信息 Pointwise mutual information (PMI), or point mutual information, is a measure of association used in information theory andstatistics. The PMI of a pair of outcomes x and y belonging to discr...
计算点互信息矩阵PPMI代码
04-28
以下是计算点互信息矩阵PPMI的Python代码： ```python import numpy as np def compute_PPMI_matrix(co_matrix): # Compute the sum of all elements in the co-occurrence matrix N = np.sum(co_matrix) # ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值