之前说了那么多,现在我们正式开始接触word2vec中涉及到的两个模型,CBOW模型(Continuous Bag-Of-Words Model)和Skip-gram模型(Continuous Skip-gram Model)。CBOW是已知当前词的上下文,来预测当前词,而Skip-gram则相反,是在已知当前词的情况下,预测其上下文。二者的模型结构如下图所示:
![](http://upload-images.jianshu.io/upload_images/4155986-b178fa035a6875b0.png)
对于上面提到的两个模型,word2vec分别给出了两套框架,分别基于Hierarchical Softmax 和 Negative Sampling来进行设计,接下来,我们会分别对这两种Skip-gram模型进行讲解。
1、基于Hierarchical Softmax的Skip-gram模型
1.1 模型说明
之前我们提到过,基于神经网络的语言模型的目标函数通常取为如下的对数似然函数:
![](http://upload-images.jianshu.io/upload_images/4155986-ee3c968681543178.png)
其中的关键是条件概率p(w|Context(w))的构造。基于Hierarchical Softmax的CBOW模型优化的目标函数也形如上面的样子。那么对于Skip-gram模型来说,优化的目标函数变为:
![](http://upload-images.jianshu.io/upload_images/4155986-7b2edb66564371a4.png)
而模型的重点也变为了条件概率p(Context(w)|w)的构造。
首先我们还是先来看一下Skip-gram模型的网络结构,它也包括三层,分别是输入层、投影层和输出层:
![](http://upload-images.jianshu.io/upload_images/4155986-2de4e74018ab4ac7.png)
1.2 梯度计算
Skip-gram模型的重点是条件概率p(Context(w)|w)的构造,模型中将其定义为:
![](http://upload-images.jianshu.io/upload_images/4155986-2b19daa21bca6cd4.png)
按照Hierarchical Softmax的思想,p(u|v)可以写为:
![](http://upload-images.jianshu.io/upload_images/4155986-d00623a69b9d47d9.png)
其中:
![](http://upload-images.jianshu.io/upload_images/4155986-f6577b5cc93d2e90.png)
所以对数似然函数的具体表达式为:
![](http://upload-images.jianshu.io/upload_images/4155986-487080d028e10d4d.png)
可以看到,这跟CBOW的形式十分类似,我们同样用随机梯度上升的方法,为求导方便起见,我们将三重求和符号里面的内容取出:
![](http://upload-images.jianshu.io/upload_images/4155986-4556f7ad09ba4631.png)
则参数的更新形式为:
![](http://upload-images.jianshu.io/upload_images/4155986-ea8fa1695a543325.png)
![](http://upload-images.jianshu.io/upload_images/4155986-94a9fd7c98fddc6f.png)
下面,给出Skip-gram模型中采用随机梯度上升方法更新各参数的伪代码:
![](http://upload-images.jianshu.io/upload_images/4155986-a3105fcb8ebce42b.png)
但在实际的word2vec模型中,并不是等Context(w)中的所有词处理完之后才更新v(w),而是每处理完一个词u,就刷新一次v(w),具体为:
![](http://upload-images.jianshu.io/upload_images/4155986-d2d89ffa89f7f338.png)
2、基于Negative Sampling的Skip-gram模型
word2vec中基于Negative Sampling的Skip-gram模型,本质上和基于Negative Sampling的CBOW模型一样,这个地方看得我头昏眼花,不过一旦想明白,你肯定也能豁然开朗。
对于一个给定的样本(w,Context(w)),我们希望最大化:
![](http://upload-images.jianshu.io/upload_images/4155986-a246ae5eeaf1210b.png)
看到了么,如果除去最外层的连乘符号,是不是就跟CBOW模型一样了,对的,word2vec模型就是将给定样本中Context(w)中的每一个词w1,分别与w进行组合(w,w1),这么一来,可以反过来把w1看成上下文,w作为要预测的词,这不就跟CBOW的思路一样了么?对的,就是这么神奇。
继续说上面的式子,其中:
![](http://upload-images.jianshu.io/upload_images/4155986-97862516b28f0726.png)
或者写成整体的表达式:
![](http://upload-images.jianshu.io/upload_images/4155986-86e877f16cec7dd9.png)
接下来,我们还是按照之前的思路,把里面的部分取出来,使用随机梯度上升的方法来更新参数,这里直接给出结果:
![](http://upload-images.jianshu.io/upload_images/4155986-8f2faad0173cb260.png)
![](http://upload-images.jianshu.io/upload_images/4155986-004015a250f92d83.png)
![](http://upload-images.jianshu.io/upload_images/4155986-45a81cac62cafad7.png)
那么,基于Negative Sampling的Skip-gram模型的伪代码如下图所示:
![](http://upload-images.jianshu.io/upload_images/4155986-ee5b03116a8b41c4.png)