理解Word2vec

理解Word2vec

一,词向量

首先需要理解词向量。

比如有一个城市的词汇表（北京，上海，宁夏，纽约，巴黎，，，，，南京）One-Hot Encoder按照如下方式：

杭州 [0,0,0,0,0,0,0,1,0,……，0,0,0,0,0,0,0]

上海 [0,0,0,0,1,0,0,0,0,……，0,0,0,0,0,0,0]

宁波 [0,0,0,1,0,0,0,0,0,……，0,0,0,0,0,0,0]

北京 [1,0,0,0,0,0,0,0,0,……，0,0,0,0,0,0,0]

 

但是使用One-Hot Encoder有以下问题。一方面，城市编码是随机的，向量之间相互独立，看不出城市之间可能存在的关联关系。其次，向量维度的大小取决于语料库中字词的多少。如果将世界所有城市名称对应的向量合为一个矩阵的话，那这个矩阵过于稀疏，并且会造成维度灾难。

 

使用Vector Representations可以有效解决这个问题。Word2Vec可以将One-Hot Encoder转化为低维度的连续值，也就是稠密向量，并且其中意思相近的词将被映射到向量空间中相近的位置。如果将embed后的城市向量通过PCA降维后可视化展示出来，那就是这个样子。

 

华盛顿和纽约聚集在一起，北京上海聚集在一起，且北京到上海的距离与华盛顿到纽约的距离相近。也就是说模型学习到了城市的地理位置，也学习到了城市地位的关系。

 

二，Word2vec--具体理解之Word embedding

干什么的？

首先有了文本语料库，你需要对语料库进行预处理，得到你想要的processed corpus之后，将他们的one-hot向量作为word2vec的输入，通过word2vec训练低维词向量（word embedding）就ok了。

目前有两种训练模型（CBOW和Skip-gram），两种加速算法（Negative Sample与Hierarchical Softmax）。

本文主要用了词向量，这里阐述word2vec如何将corpus的one-hot向量（模型的输入）转换成低维词向量（模型的中间产物，更具体来说是输入权重矩阵）。

2.1 Word2Vec两种模型

Word2Vec包含了两种词训练模型：CBOW模型和Skip-gram模型。

1）CBOW模型根据中心词W(t)周围的词来预测中心词
2）Skip-gram模型则根据中心词W(t)来预测周围词

word2vec模型其实就是简单化的神经网络。

 

输入是One-Hot Vector，Hidden Layer没有激活函数，也就是线性的单元。Output Layer维度跟Input Layer的维度一样，用的是Softmax回归。我们要获取的dense vector其实就是Hidden Layer的输出单元。

抛开两个模型的优缺点不说，它们的结构仅仅是输入层和输出层不同。请看：

1）CBOW模型

 

2）Skip-gram模型

接下来我们具体分析一下CBOW模型的构造，以及词向量是如何产生的。理解了CBOW模型，Skip-gram模型也就不在话下啦。

2.2 CBOW模型的理解

先来看着这个结构图，用自然语言描述一下CBOW模型的流程：

CBOW模型结构图

1） 输入层：上下文单词的onehot. {假设单词向量空间dim为V，上下文单词个数为C}。

2）所有onehot分别乘以共享的输入权重矩阵W. {V*N矩阵，N为自己设定的数，初始化权重矩阵W}。

3）所得的向量 {因为是onehot所以为向量} 相加求平均作为隐层向量, size为1*N。

4）乘以输出权重矩阵W' {N*V}。

5）得到向量 {1*V} 激活函数处理得到V-dim概率分布 {PS: 因为是onehot嘛，其中的每一维斗代表着一个单词}，概率最大的index所指示的单词为预测出的中间词（target word）。

6）与true label的onehot做比较，误差越小越好。

 

所以，需要定义loss function（一般为交叉熵代价函数），采用梯度下降算法更新W和W'。训练完毕后，输入层的每个单词与矩阵W相乘得到的向量的就是我们想要的词向量（word embedding），这个矩阵（所有单词的word embedding）也叫做look up table（其实这个look up table就是矩阵W自身），也就是说，任何一个单词的onehot乘以这个矩阵都将得到自己的词向量。有了look up table就可以免去训练过程直接查表得到单词的词向量了。

 

三， 具体例子理解CBOW模型流程

假设我们现在的Corpus是这一个简单的只有四个单词的document：
      {I drink coffee everyday}
    

我们选coffee作为中心词，window size设为2。也就是说，我们要根据单词"I","drink"和"everyday"来预测一个单词，并且我们希望这个单词是coffee。

这里，drink稀疏的表示[0 1 0 0]经过embedding之后变为了稠密的矩阵[2 2 1]。