论文笔记--Efficient Estimation of Word Representations in Vector Space

1. 文章简介

• 标题：Efficient Estimation of Word Representations in Vector Space
• 作者：Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean
• 日期：2013
• 期刊：arxiv preprint

2. 文章概括

  文章提出了两种Word2Vec模型(CBOW, Skip-gram)，可以在大量的语料库上快速训练出高质量的词向量。且Word2Vec的词向量不仅可以保持相似单词的词向量相近，还可以保持词向量之间的线性操作（如$King-man+woman\approx Queen$）。
  由于训练方法相比于传统的NNLM(Neural Network Language Model)更快，文章可以在更大的数据集上训练更高维度的词向量，从而词向量表达更丰富。数值实验表明Word2Vec得到的词向量质量更高（见第四节）。

3 文章重点技术

3.1 NNLM(Neural Network Language Model)

3.1.1 NNLM

  Word2Vec的基本架构基于[1]提出的NNLM。所谓LM（Language Model，语言模型），即通过前面的token预测当前的token。如下图所示，在输入层，给定当前单词的上文n个单词，模型首先对每个单词进行编码。NNLM采用的编码方式为Table look-up，即通过预先定义的hash表对一些常见的token进行映射，使用时直接查找当前token在映射表$\mathcal{C}$中对应的编码即可。得到当前时刻$t$对应的$N$（对应图中的$n$)个上文的编码分别为$C(w_{t-N}),\dots ,C(w_{t-1})$，其中每个token的编码$C_{t-i}$