【NLP论文笔记】From Word Embeddings To Document Distances

最新推荐文章于 2021-11-24 22:34:37 发布
最新推荐文章于 2021-11-24 22:34:37 发布
阅读量415 收藏 1
点赞数 1
分类专栏： 论文学习 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lly_zy/article/details/104829792
版权

这是华盛顿大学发表于2015年的一篇论文，主要讲的是一种计算文本（语句）相似度的方法论。

论文链接：http://proceedings.mlr.press/v37/kusnerb15.pdf

第一次接触关于nlp方面的文章，并记录学习历程。

 

From Word Embeddings To Document Distances

摘要：

本文主要提出了一种基于词移动距离（Word Mover's Distance, WMD）的文本相似度的计算方法。其主要工作都是基于词在句子中的共现概率而训练的词向量来展开的（其实就是用了word2vec训练出来的词向量）。WMD的距离计算方法简单理解就是，针对一篇文章中的每一个词，我们都能在对比文章中找到一个词，使得该词“移动／转移”到该词的“代价／距离”最小（其实就是俩个词向量的距离最小），而两篇文章的相似度就是，一篇文章中的所有词转到另一篇文章的词的“总代价／距离”。这个距离的度量方法其实与著名的交通运输问题“Earth Mover's Distance”思路是一样的。这种度量的方法的一个好处就是，其没有超参数需要去优化，计算直接了当。然后，本文所做的实验也论证了这种（WMD）的度量方法确实简单有效，且在当时击败（用最小k近邻误差来衡量）了其他7种主流的文本相似度度量算法。

Q：word2vec训练出来的词向量，word2vec是什么意思？

A；可以看这里的介绍，写的很清楚。https://zhuanlan.zhihu.com/p/26306795

Q：Earth Mover's Distance是什么思想？原理是什么?

introduction

文章背景部分：

文档最常见的两种表示方式是通过单词包(BOW)或术语频率(TF-IDF)。但是这些特征不能表示文本之间的距离（因为他们的频率是相互正交的）；这也是上面两种表示方法的最大的缺点。因为他们不能捕捉到两个单词之间的距离。比如：奥巴马在伊利诺斯州对媒体讲话:总统在芝加哥迎接媒体。虽然这些句子没有共同的词汇，但它们传达了几乎相同的信息，这是BOW模型无法表达的事实。在这种情况下，单词对的紧密程度:(奥巴马，总统);(说话时,问候);(媒体、出版社);而且(伊利诺斯州，芝加哥)并没有考虑到BOW-based distance.。

Q：(BOW)或术语频率(TF-IDF)各代表什么意思。原理是什么？为什么不能表达讲个单词之间的距离（数学层面）？

 

有许多学者试图通过学习文档的潜在低维表示来绕过这个问题。比如Latent Semantic Indexing (LSI) ；eigendecomposes the BOW feature space, and Latent Dirichlet Allocation (LDA)；还有很多BOW/TF-IDF的变种。虽然这些方法比BOW生成更一致的文档表示，但它们通常不会提高BOW在基于距离的任务(例如，最近邻分类器)上的经验性能。

Q：LSI；LDA；BOW/TF-IDF的变种的原理和操作方法？

 

这篇文章是在利用了著名的word2vec模型产生了前所未有的高质量的词嵌入，并且可以自然地扩展到非常大的数据集。（我们使用一个训练了大约1000亿个单词的自由可用的模型）。作者们证明，语义关系通常在矢量运算中得以保留。比如vec(柏林)- vec(德国)+ vec(法国)更接近vec(巴黎)。

这表明，嵌入词向量之间的距离在一定程度上具有语义意义。我们的度量，我们称之为Mover s Distance (WMD)，利用了word2vec嵌入的这个特性。我们将文本文档表示为嵌入单词的加权点云。两个文本文档A和B之间的距离是文档A的单词精确匹配文档B的点云所需的最小累积距离。

上图展示了文中提出新的度量的示意图。

 

用WMD的方法来解决优化问题。WMD距离有几个有趣的特性:1。它是超参数自由和直观的理解和使用;2. 两个文档之间的距离可以分解为几个单词之间的稀疏距离，因此具有很高的可解释性;3.它很自然地结合了word2vec空间中编码的知识，并且在8个真实世界的分类任务中有6个任务的检索精度超过了所有7个最先进的备选文档距离。

 

2. Related Work

构建文档之间的距离与学习新的文档表示密切相关。Salton & Buckley (1988).是系统研究基于词频加权、标准化术语和基于语料库的统计的不同组合的第一批著作之一。。。。。。。。

学习文档表示的新方法包括堆栈去噪自编码器(SDA) (Glorot et al., 2011)和更快的mSDA (Chen et al., 2012)，后者通过堆栈神经网络中的dropout噪声学习单词相关性。最近，组件计数网格(Perina et al.， 2013)合并了LDA (Blei et al.， 2003)和计数网格(Jojic &模型，允许主题是单词分布的混合。还有，Le &Mikolov(2014)受word2vec模型的启发，使用简化的神经语言模型学习文档的稠密表示(Mikolov et al.， 2013a)。

在计算机视觉文献中，EMD的使用是最早出现的(Rubner et al.， 1998;Ren等人，2011)。一些出版物研究了用于图像检索应用的EMD近似(Grauman &达仁,2004;Shirdhonkar,雅各布斯,2008;Levina,Bickel, 2001)。随着词嵌入在质量上的改进，文档检索进入了一个类似的设置，其中每个词都与一个信息丰富的特征向量相关联。据我们所知，我们的工作是第一个连接高质量的词嵌入和EMD检索算法

Cuturi(2013)在EMD目标中引入了熵惩罚，它允许通过非常有效的迭代矩阵更新来解决结果的近似值。此外，矢量化可以通过GPGPUs进行并行计算，但是，他们的方法假设每个文档的维数不是太高，在我们的设置中维数是非常大的(所有可能的单词)。这消除了他们的方法的主要优点(GPGPUs上的并行化)，因此我们开发了一个新的EMD近似，它对我们的问题领域非常有效。

 

Q：需要了解EMD的机理，quality word embeddings 的方法。 

 

3. Word2Vec Embedding

最近Mikolov等人(2013a;b)介绍了一种新的单词嵌入方法word2vec。他们的模型使用(浅)神经网络语言模型学习每个单词的向量表示。具体来说，他们提出了一个神经网络架构(跳跃图模型)，它由一个输入层、一个投影层和一个输出层组成，用来预测附近的单词。

具体解释看https://www.jianshu.com/p/471d9bfbd72f

 

4. Word Mover’s Distance

假设有两个文本D1，D2，WMD的计算流程如下：

  1. 去除D1，D2的stop words∥xi​−yj​∥^2
  2. 用word2vec embedding来表示D1，D2中的每一个词
  3. 用nBOW 方法来分别表示D1，D2，记做d′d^{'}d ′和d′d^{'}d ′'
  4. 计算word travel cost，利用上面计算出来的d′d^{'}d ′和d′d^{'}d ′' 来表示单词i和单词j之间的距离
  5. 计算T_{ij}

6、这个全局转移代价累加和的最小值就是D1，D2的相似度。

下面看一下例子。

D0， D1 和 D2 在去掉停用词（to, the, in）后，是等长的4个向量。以 D1 为例，Obama 是通过 word2vec 计算出了分别到 President，greets，press， Chicago 的距离，其中到 President 0.45是T_{ij}，乘以C(i,j)最小值的解，所以依照上面 WMD 的定义，Obama 就和 President一一对应上了。这里之所以一一对应，是因为两个文本去停用词后都剩下四个单词3。

但是在现实生活中对比文档时几乎不会出现两个被比较的文档长度完全一样，在这种情况下，作者给了另外一个例子。由于 D0， D3 两个文本长度不一样，所以导致他们的 nBOW 值也不同（比如 President 在D0 中的值为 1/4 = 0.25 即 4个词中出现一次， Obama 的值则为 1/3 = 0.33 表示三个词里出现一次）这里如果转移 Obama 到 D0 文档去 0.33 - 0.25 = 0.08 还有0.08 个单位没有分配出去，因为 President 最大只能接受 0.25 的权重，在这时如果 greets 是除了 President 之外与 Obama 距离最近的词，就会把剩下的 0.08 权重分给它3


4.1. Fast Distance Computation

优化问题：引入几个WMD运输问题的low bound廉价下界，使我们能够在不计算WMD精确距离的情况下删除大部分文档。

Word centroid distance.

这是利用三角不等式来找到WMD的最优化目标的一个宽松下界，用来替代WMD的结果。其实这种算法的本质上就是我们最快能够想到的计算两条文本相似度的方法：分别把每条文本的词向量加起来取平均，再计算得到的两个向量的欧氏距离。

WCD 在损失一定精度的情况下极大的加快了运行速度，将时间复杂度减小到O(dp)。其中d代表词向量维度，p代表两篇文本分词去重后词表的大小 。

Relaxed word moving distance.

虽然WCD的计算速度很快，但它边界并不是很紧。我们可以通过放松WMD优化问题并分别删除其中一个约束(删除这两个约束会得到平凡的下界T = 0)来获得更紧的边界。如果只删除第二个约束，优化就变成了

 

 

Prefetch and prune.预取和修剪

在所有文档中找出与一个文档D最相似的K个文档：

用WCD方法计算所有文档与文档D的WCD距离，并按照递增排序；
取前K个文档出来，计算WMD值，这时先暂且任务这K个文档是找出来的与D文档最相似的K个文档，但是由于WCD方法是不tight的，所以对于剩下的文档转到步骤3
计算RWMD值，如果计算的RWMD值比上面的K个WMD值最大的要小，就说明找到了一个更小的WMD，替换topK中WMD最大的那个；否则，扔掉不要
 

参考：

https://blog.csdn.net/weixin_42204397/article/details/104814553

路飞遇上娜美
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文献阅读 - From Word Embeddings To Document Distances
Always On The Way
10-27 539
From Word Embeddings To Document Distances M. J. Kusner, Y. Sun, N. I. Kolkin, K. Q. Weinberger, From Word Embeddings To Document Distances, ICML (2015) 摘要 词嵌入（word embedding）：根据单词在语句中的局部共存性，学习单词语义层...
From Word Embeddings To Document Distances - Review
cfdoge的博客
07-26 859
前言： 本博文是对论文From Word Embeddings To Document Distances(Matt, Yu, Nicholas, Kilian, 2015)的一个问题， 第一部分是关于Abstract和第一小节的介绍内容。本文第二部分则是对原文第二部分和第三部分的一个简单总结，主要是介绍了一下对于文档分类技术的一个简单的源起和word2vec怎样运用到这个任务当中。本文第三部分...
NLP论文笔记：From Word Embeddings To Document Distances
m0_37531129的博客
08-09 481
From Word Embeddings To Document Distancesfrom word embeddings to document distances文本相似度EMD 陆地移动距离功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出
From Word Embeddings To Document Distances
sinat_34080511的博客
04-08 1691
论文提出了一个新的计算文本文档距离的方法：Word Mover‘s Distance(WMD)。本文的工作也是基于词向量，从句子的局部共现中学习语义上有意义的词的表示。WMD距离将两个文本文档的不同描述为一篇文档中嵌入的词“travel”到达另一个文档中嵌入的词所需的最小距离量。这个距离矩阵可以看作Earth Mover’s Distance（图像中一个计算距离的算法）的特例，并且这个矩阵没有超参
From Word Embeddings To Document Distance
weixin_34006965的博客
11-21 449
为什么80%的码农都做不了架构师？>>> ...
自然语言处理NLP-Word Embeddings-ZH1.1.pptx
12-19
Nvidia dli中 自然语言处理的PPT 作为初学者，可以认真学习 进行入门，非常不错的材料 给大家进行分享，值得拥有
自然语言处理论文含一篇word论文
05-21
包含近年较为热门的论文 以及一篇word论文适用于学生应付课设。
词向量（Word Embeddings）是自然语言处理（NLP）领域的一种重要技术.txt
最新发布
04-28
词向量
Topical Word Embeddings
02-21
首先，词嵌入（Word Embedding），也称为词表示，是自然语言处理（NLP）领域中一种将词语表示为在高维空间中的连续向量的技术。这些连续向量捕获了词语的语义和句法信息，并广泛应用于各种信息检索（IR）和自然语言...
NLP自然语言处理10篇论文.zip
04-10
这个压缩包“NLP自然语言处理10篇论文.zip”包含了一系列重要的NLP领域的研究文献，这些论文对于深入理解该领域的新进展和技术趋势至关重要。 首先，"Attention Is All You Need.pdf"是Transformer模型的原始论文，...
《From word embedding to document Distance》
weixin_38442365的博客
04-01 1998
该篇论文提出了一种新的计算句子相似度的方法wordmover distance，以及提升这种方法的计算效率的两种方法：word centroiddistance和Relaxed word moving distance。一、word moverdistance (1)单词向量化表示方式使用word2vec的向量化矩阵X∈Rdxn来表示有n个单词的词汇表，第i列表示在d维空间中第i个单词的向量。(2...
NLP论文笔记
Black先森的博客
11-18 419
本文整理个人读论文的一点心得，分享其中有意思的论文观点，主要作为学习笔记，如果能够对读者有帮助，那就更好了。 本文主要关注注意力机制。注意力机制最早在2014年出现在CV领域1，之后Bahdanau，Bengio等人将这种机制运用到自然语言处理领域2，开创了基于注意力机制刷榜NLP各类任务的时代。既然注意力机制这么牛皮，那为什么不直接使用呢？于是Vaswani,Shazeer,Kaiser等人3直接抛弃了RNN，提出了自注意力机制，这就是后来的Transformer架构。之后沿着Transformer这条路
From Word Embeddings To Document Distances 阅读笔记
mr2zhang的博客
03-15 371
本文主要解决文本相似度问题，在word2vec, BOW的基础上提出了WMD模型（Word Mover’s Distance），主要思想是将A文档中的每个词，通过最小距离的转移到B文档中对应的词，最终将每个距离相加，作为衡量两个文档的距离。WMD是无超参数的，而且可解释性高。在一些nlp任务中取得了不错效果。 背景介绍： 解决这类问题的常见思路如下： 文档最常用的两种表示方式BOW和TF-IDF...
【From Word Embeddings To Document Distances】文章的理解
01-07 219
一、方法描述 在文档检索，文本分类，聚类等应用中，计算文档间距离是重要的影响因素 文章提出了一种新的计算文档间距离的方法。用带权重的embedding词云来表示文档，文档间的距离采用A文档中全部词到B文档中全部词的累计最近距离来计算文章间的距离。 该方法有如下几个优点： 1.易于使用，无需超参数 2.它具有很高的可解释性，因为两个文档之间的距离可以分解为几个单独单词之间的稀疏距离 3.它使用word2vec知识进行编码，因此具有较高的检索精度。 二、方法的实现 WMD的计算过程如下.
NLP论文笔记合集（2022停更）
sinat_39448069的博客
11-24 2373
NLP论文笔记合集（持续更新）经典论文 经典论文 NLP经典论文：NNLM 笔记 NLP经典论文：TextCNN 笔记 NLP经典论文：FastText 笔记 NLP经典论文：Word2vec、CBOW、Skip-gram 笔记
From Word Embeddings To Document Distances论文总结
weixin_42204397的博客
03-15 360
前言 最近阅读的论文FromWord Embeddings To Document Distances.做一个小总结。作为一个NLP刚刚开始，而且还没有入门的小白，很多的概念都不懂，一点点的查吧，边查边做笔记【苦笑脸】。例如word embedding，word2vec，bag-of-words，本文将详细解释相关的概念并加入我自己对文章的了解。 基本概念 word embedding： 翻译过来...
基于论文[From Word Embedding to Document Distance]的实验
sesiria的博客
10-26 271
代码参考： https://github.com/mkusner/wmd 一，准备环境 安装好anaconda笔者这里用的是python3 64bit的版本 需要用到这个库，gensim conda install -c conda-forge gensim 从参考代码的仓库上下载WMD代码： git clone git@github.com:mkusner/wmd.git...
【论文通俗解读】From Word Embedding to Document Distances 从词向量到文本距离
weixin_39052229的博客
04-24 208
文章目录一、概述二、方法介绍2.1 Word2Vec词向量表达2.2 Word Mover's Distance(WMD)2.3 方法可视化三、模型表现3.1 精度表现3.2 性能表现3.2.1 Word centriod distance3.2.2 Relaxed word moving distance四、方法优缺点4.1 优点4.2 缺点 一、概述 原文: http://proceedings.mlr.press/v37/kusnerb15.html (link) github: https://
Word2Vec原始论文解析：大规模并行训练与词向量表示
在自然语言处理（NLP）领域，Word2Vec是一个非常重要的工具，它由Google在2013年开源，极大地推动了词向量（word embeddings）的研究和应用。Word2Vec不仅仅是一个工具，它包含了两种主要的模型： Continuous Bag-of...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值