Distributed Representations of Words and Phrases and their Compositionality论文笔记解读

基本信息

作者	TomasMikolov	doi	05 December 2013 Publication History
发表时间	2013	期刊	NIPS
网址	https://arxiv.org/abs/1310.4546

研究背景

1. What’s known 既往研究已证实
连续Skip - gram模型，不涉及密集矩阵乘法，是一种高效的学习高质量分布式向量表示的方法，它能捕获大量精确的句法和语义单词关系

2. What’s new 创新点
分层softmax的一个简单的替代方法——负采样。
解决罕见词和频繁词之间的不平衡——子抽样方法。

3. What’s are the implications 意义
提高了向量的质量和训练速度。

研究方法

1. Negative Sampling
简化的噪声对比估计(NCE)——负抽样(NEG)。NEG与Hierarchical softmax相比，该模型能够更快地训练频繁单词，并提供更好的向量表示。
负抽样和NCE的主要区别在于，NCE既需要样本，也需要噪声分布的数值概率，而负抽样只使用样本。
2. Frequent Words 子抽样方法
频繁的单词(例如In、the和a)提供的信息价值比罕见的词少。
解决罕见词和频繁词之间的不平衡，我们采用了一种简单的子抽样方法：将训练集中的每个单词wi丢弃，由公式计算概率
3. Learning Phrases
两个词连续出现多，单独出现少，则很可能是短语。
基于统计方法进行打分，设定阈值选择短语。

结果与讨论

1. 负抽样(NEG)可简单的替代Hierarchical softmax最大值。
2. 子抽样方法可以加速学习，提高了罕见单词的学习向量的准确性。
3. Skip-gram模型的有趣性质——简单的向量加法可产生有意义的结果：vec(“Germany”) + vec(“capital”) ≈ vec(“Berlin”)。

个人思考与启发

拓展学习：论文阅读 - Distributed Representations of Words
用来表示 word 的向量被称为 Embedding，因为这个词被嵌入到（embedded）了向量空间中。

重要图

文献中重要的图记录下来