使用PPMI改进共现矩阵

于 2022-01-13 23:48:22 发布
阅读量1k 收藏 6
点赞数
分类专栏： 学习笔记 文章标签： nlp PPMI
请勿用于任何商业用途；转载的话请加上我的地址；
本文链接：https://blog.csdn.net/qq_40828914/article/details/122485312
版权
学习笔记 同时被 2 个专栏收录
106 篇文章 36 订阅 ¥39.90 ¥99.00
订阅专栏
AI
37 篇文章 2 订阅
订阅专栏

使用PPMI改进共现矩阵

共现矩阵的元素表示两个单词同时出现的次数，这里的次数并不具备好的性质，举个例子，有短语叫the car，因为the是个常用词，如果以两个单词同时出现的次数为衡量相关性的标准，与drive 相比，the和car的相关性更强，这是不对的。

点互信息(Pointwise Mutual Information,PMI)：表达式如下，P(x)表示x发生的概率，P(y)表示y发生的概率，P(x,y)表示x和y同时发生的概率。PMI的值越高，表明x与y相关性越强。

在这里插入图片描述

用共现矩阵重写PMI表达式：将共现矩阵表示为C，将单词X和Y的共现次数表示为C(x,y)，将单词x和y的出现次数分别表示为C(x)、C(y)，将语料库的单词数量记为N。表达式如下。

在这里插入图片描述

正的点互信息（Positive PMI，PPMI）：当两个单词的共现次数为0时， log0=-∞。为解决这个问题，实践上会使用下述正的点互信息。可以将单词间的相关性表示为大于等于0的实数。

在这里插入图片描述

共现

了解本专栏 订阅专栏 解锁全文
每天学点
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
svdmi:NLP中的常见预处理，例如PPMI计算，基于SVD的降维和基于PLSR的分布预测
05-18
svdmi 该Python脚本包含NLP中的几种常用预处理，例如PPMI计算，基于SVD的降维和基于PLSR的分布预测。 依存关系 需要以下软件包。 Python 2.7（未经Python 3测试） 麻木 安装 svdmi没有特定的安装。 一旦安装了所有依赖项，就可以按照用法部分所述运行svmi。 用法 PPMI 积极的点向互惠信息 $ python svdmi.py -m PPMI -i raw_co-occurrences_matrix_file_name -o ppmi_matrix_file_name SVD 基于奇异值分解的降维（SVD1）和矩阵平滑（SVD2）。 对于SVD1模式 $ python svdmi.py -m SVD1 -i matrix_file_name -o dimensionality_reduced_matrix_file_name -n
02、PMI点互信息 & PPMI（Positive PMI）
weixin_38659482的博客
03-06 1619
在词的向量化表示中，简单的One-Hot会遇到数据稀疏和无法计算词之间距离的问题；分布式频次表示会遇到高频词误导计算结果的问题。基于点互信息的词向量表示方式恰好可以解决上述问题。 PMI点互信息 1. 概念和公式 点互信息（Pointwise Mutual Information，PMI）是信息轮中用来衡量两个事物之间的相关性的一个指标。例如对于词A和词B的点互信息为： 其中，表示词A和词B共同出现的频率，表示词A出现的频率，表示词B出现的频率。 2. 示例 上下文 我 喜欢 游泳。
斯坦福大学-自然语言处理入门 笔记 第十九课 单词含义与相似性
苏三慎的博客
10-28 2376
一、单词含义与单词关系 回顾：词目（lemma）与单词形式（wordform） 词目：表示相同的词根、词性以及大致的语义 单词形式：表示在文档中出现的具体单词形式 一个词目可能会含有很多含义（sense）。含义（sense）表示单词意思的一个方面的表现。比如说bank就有两个含义。 …a bank can hold the investments in a custodial acco...
点互信息（PMI）和正点互信息（PPMI）
一个小菜鸟的博客
03-29 4077
最近在看代码的时候，发现论文用到了PPMI，索性这里记录一下两个概念： PMI（点互信息） 用来衡量两个事物之间的相关性 公式如下 如何理解？ 在概率论当中，如果说x与y两个变量无关，那么p(x,y)就等于p(x)p(y) 如果说x与y越相关，那么p(x,y)与p(x)p(y)的比值就越大 为了更好理解，这里有一个例子： 分母19是所有的词对共同出现的总次数（1+1+1+1+2+1+1+1+6+4） 这里的例子进行理解的时候，先是红色框的0.32，是根据当前词
词向量源码解析：（5.8）ngram2vec源码解析之counts2ppmi等
ZhaoZhe的专栏
09-16 1498
我们下面要把共现矩阵加权，得到PPMI矩阵。counts2ppmi这个名字起得不是特别准确，这个文件实际上生成的是PMI矩阵。可能是为了统一，这个工具包把所有应该叫PMI的地方都变成了PPMI。ngram2vec中的counts2ppmi比较合理的利用了scipy中的稀疏矩阵，能很快的从文件中把共现矩阵建立好，然后加权得到PMI矩阵。这里默认要能把所有的三元组读进来，所以可能内存不足。 def
cs224u Homework  PPMI+ LSA +GloVe+ Dice coefficient + t-test reweighting +subword information 
段智华的博客
05-04 483
cs224u Homework PPMI+ LSA +GloVe+ Dice coefficient + t-test reweighting +subword information 本文包括以下内容： PPMI as a baseline Gigaword with LSA at different dimensions Gigaword with GloVe for a smal...
AlzheimerDisease:阿尔茨海默病项目
07-08
###阿尔茨海默病项目 ...PPMI_Process_Data.R：生成 PPMI 数据集的代码（这是一个副项目） 分类.R：预测从 MCI 到 AD 的转换（任务 1） sample_size.R：样本大小计算（任务 2） cox.R：cox 比例风险模型（任务 3）
em算法matlab代码-Disease-Progression-Model:疾病进展模型
05-26
PPMI数据集提供449位在基线，第1年，第2年，第4年和第5年收集了DaTscans的受试者。对数据集进行预处理后，剩下的365位受试者的纹状体结合率（SBR）为4个区域计算：左尾状（LC），左壳核（LP），右壳核（RP），右尾状...
foundinpd-browser
03-26
去做 缩放到单个SNP无效。 ...更容易看到职位 ...检查基因视图。 在SNP中键入不应删除。... FoundinPD样式-无PPMI-RNA序列 PPMI RNA-Seq和FoundinPD分子浏览器 ...用于全血和FoundinPD的... 这些链接使用每个链接。 没有页眉/页
scratch2:从头开始
04-02
私人的 2020-04-01 初始化提交 回顾基本nn 为螺旋数据制成nn 模组 main.py：要运行的主脚本 functions.py：激活和丢失函数 layer.py：具有损耗/活动功能的... 文本标记化，同现矩阵，SVD，PPMI 使用ptb数据进行测试
复数和复变指数函数和三角函数和欧拉公式关系及几何直观意义
热门推荐
花有重开日，人无再少年
06-26 2万+
证明欧拉公式 如果这么看自变量：θ=ωt\theta= \omega t θ=ωt那么就可以发现欧拉公式的几何意义。 复数的表示形式 通过下面对比可以发现，用复指数表示复数在几何上更直观点。 复数的运算 1.加法运算 设z1=a+bi，z2=c+di是任意两个复数， 则它们的和是 (a+bi)+(c+di)=(a+c)+(b+d)i。 几何上满足平行四边形法则。 2.乘法运算 设z1=a+bi，z2=c+di(a、b、c、d∈R)是任意两个复数， 那么它们的积(a+bi)(c+di)=(ac-b
三角函数和反三角函数图像、导数、积分、等式关系
花有重开日，人无再少年
05-05 1万+
之前对三角函数的理解仅局限于sin，cos，tan。但是目前遇到的都是些csc，sec，cot，arctan，arccos，arcsin。积分和求导还有一堆公式 最近看到了一个六边形记忆法，更加简便。
卷积积分
花有重开日，人无再少年
03-20 1万+
文章目录卷积积分信号的时域分解卷积公式卷积积分定义卷积积分图解法：卷积的性质：常用卷积重要公式卷积求解方法用梳状函数卷积产生周期信号矩形脉冲的卷积产生三角形和梯形脉冲自相关互相关函数定义相关与卷积 卷积积分 本质：信号分解 f(t)分解成基本信号δ(t)ε(t)的线性组合 一个基本信号的响应知道了，那么就可以求任意信号的响应 信号的时域分解 1.注意p(t)并不是δ(t)，p(t)表示的面积为一，...
1-1.HTML、CSS、JavaScript语言在web前端开发中的作用
花有重开日，人无再少年
06-02 1万+
HTML是网页内容的载体。内容就是网页制作者放在页面上想要让用户浏览的信息，可以包含文字、图片、视频等。 CSS样式是表现。 就像网页的外衣。比如，标题字体、颜色变化，或为标题加入背景图片、边框等。所有这些用来改变内容外观的东西称之为表现。 JavaScript是用来实现网页上的特效效果。如：鼠标滑过弹出下拉菜单。或鼠标滑过表格的背景颜色改变。还有焦点新闻（新闻图片）的轮换。可以这么理解，...
logisim无法打开解决办法
花有重开日，人无再少年
03-23 1万+
打开报错：the registry refers to a nonexistent java Runtime Environment installation or the runtime is corrupted. 我明明装了1.8的jdk，环境变量也配置好了。但是还显示没有jdk环境。 解决办法： 命令行输入： d: cd: D:\logisim\logisim271 #以上两步是切换到你的...
Lingo计算最优解
花有重开日，人无再少年
05-03 1万+
文章目录线性规划二次规划集合段 线性规划 model: title 求解线性规划; max=2*x1+3*x2; 2*x1+x2<8; 4*x1+3*x2<15; end 结果： Global optimal solution found. Objective value: ...
感知机实现与、或、与非门和异或门
花有重开日，人无再少年
01-01 6441
机器学习-感知机【perceptron】what is 感知机单层感知机运用实例多层感知机 what is 感知机 感知机接收多个输入信号，输出一个信号。 接收两个信号的感知机，如下图： x1与x2是输入信号；y是输出信号； w1与w2是权重。圆圈O代表”神经元”或者”节点”。 **神经元被激活：**当x1w1+x2w2超过某个界限值时，y才会输出1。 **阈值：**这里将界限值称为阈值，用θ符号表示。 权重越大，对应该权重的信号的重要性就越高。 由此可以得到感知机的一种数学表示方法： 感知机的另一种数
Lingo多维数组
花有重开日，人无再少年
05-03 6277
∑i=1100∑j=1200xij=280\sum_{i=1}^{100}\sum_{j=1}^{200}x_{ij}=280i=1∑100​j=1∑200​xij​=280 sets: a/1..100/:; b/1..200/:; C(a,b):x; endsets @sum(c(i,j):x(i,j))=280; ∑i=1100xij&gt;150\sum_{i=1}^{100}x...
计算点互信息矩阵PPMI代码
最新发布
04-28
以下是计算点互信息矩阵PPMI的Python代码： ```python import numpy as np ...其中，输入参数`co_matrix`为共现矩阵，输出为PPMI矩阵。注意，由于PPMI矩阵的值可能小于0，因此在计算PPMI值时需要取max(pmi, 0)。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

每天学点

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值