（2014）Glove:Global Vectors for Word Representation

Abstract

1、目前词向量学习模型能够成功的使用算术计算（词向量的加、减运算）来捕捉词与词之间细微的语法和语义规律。
2、但是这些规律背后的原理依旧是不清楚的，经过仔细的分析，我们发现了模型特性中这些规律在词向量中浮现。
3、结果基于词提出了一种新的对数双线性回归模型，这种模型结合了文中两个主要模型组的优点：全局矩阵分解和局部上下文来学习词向量。
4、我们的模型只在共现矩阵的非0位置训练以达到有效使用统计信息的目的，而不是在整个稀疏矩阵或者大语料的单个上下文窗口上。
5、模型在词类比任务上得到了75%的准确率。并且在多个任务上得到了最优结果。

Introduction

语言的语义向量空间模型，用一个实值来表示每个词。这些向量可以作为特征，在各种应用程序中使用，比如，信息检索，文本分类，问答系统，命名实体识别，语义解析。
大多数词向量的方法依赖词向量之间的距离和夹角作为对一系列词表示的内部评价质量的主要方法。最近，XX引入一种新的词表示的评价方案，基于词类比的方式。不再通过检查词向量之间的标量距离，而是通过它们不同的维度来探测向量空间的更精细的结构。例如，“国王之于皇后”类比于“男人之于女人”应该编码在这样一个向量空间中，由向量等式vec（king）-vec(queen)=vec(man)-vec(woman)编码的向量空间中。这种评估方案偏向于产生意义维度的模型。从而捕获了分布式表示的多聚类思想。
学习词向量的两个主要模型是：1）全局矩阵分解方法，如潜在语义分析（LSA）
2)局部上下文窗口方法，比如the skip-gram模型。目前，这两种方式都有明显的缺点，虽然像LSA这样的方法充分利用了统计信息，它们在单词类比任务上做的相对较差，说明这不是一个很好的向量空间结构。
像Skip-gram这样的方法可能在类比任务上做的更好，但是它们很少利用语料库中的统计数据，因为它们训练的是单独的局部上下文，而不是全局共现计数。
在这项工作中，我们分析了产生线性意义方向所必须的模型性质，并认为全局对数双线性回归模型是合适的。我们提出了一个特定的加权最小二乘法模型，它训练全局词-词共现计数，从而有效地利用统计数据。该模型产生了一个具有有意义的子结构的词向量空间，其在词类比数据集上的准确率为75%，我们还证明了我们的方法在几个单词相似性任务以及一个通用的命名实体识别基准上优于当前的其他方法。
我们在XXXX上提供了模型的源代码以及训练过的词向量。

Related Work