word2vec原理（三）基于Negative Sampling 的模型

此章节将介绍基于Negative Sampling的CBOW和skip-gram模型。Negative Sampling（简称NEG）是Tomas Mikolov等人提出的，它是NCG（Noise Contrastive Estimation）的一个简化版本，目的是为了提高模型的训练速度和改善所得词向量的质量。与Hierarchical Softmax相比，NEG不再使用复杂的huffman树，而是采用随机负采样，能大幅度提高性能，因而成为了hierarchical Softman的一种替代。

1.CBOW模型

在cbow模型中，已知词的上下文$context(w)$，需要预测$w$,因此，对于给定的$context(w)$，词$w$就是一个正样本，其他词就是负样本，但是负样本那么多，该如何选取呢？这个就得说负采样算法了，此处先略过，先讲解一下基于negative sampling的原理。

1.1cbow原理

假定现在已经选好了一个关于$w$的负采样子集$NEG(w)\ne \varnothing$,且对$\forall \tilde{w}\in D$,定义
$$L^w(\tilde{w})=\{\begin{array}{ll}1& \tilde{w}=w\\ 0& \tilde{w}\ne w\end{array}$$
表示词$\tilde{w}$的标签，即正样本的标签为1，负样本的标签为0.
对于一个给定的正样本$(context(w),w)$,我们希望最大化
$$g(w)=\prod _{u\in w\bigcup NEG(w)}p(u|context(w))$$
其中
$$p(u|context(w))=\{\begin{array}{ll}\sigma (x_w^T{\theta }^u)& L^w(u)=1\\ 1-\sigma (x_w^T{\theta }^u)& L^w(u)=0\end{array}$$
或者写成整体表达式
$$p(u|context(w))=[\sigma (x_w^T{\theta }^u){]}^{L^w(u)}\cdot [1-\sigma (x_w^T{\theta }^u){]}^{1-L^w(u)}$$
这里$x_w$扔表示$context(w)$中各词的词向量之和，而${\theta }^u\in {\mathbb{R}}^m$表示词$u$对应的一个向量，为待训练参数
为什么要最大化$g(w)$呢？首先可以看看$g(w)$的表达式
$$g(w)=\sigma (x_w^T{\theta }^w)\prod _{u\in NEG(w)}[1-\sigma (x_w^T{\theta }^u)]$$
其中$\sigma (x_w^T{\theta }^w)$表示上下文为$context(w)$时，预测中心词为$w$的概率，而$\sigma (x_w^T{\theta }^u),u\in NEG(w)$则表示当上下文为$context(w)$时，预测中心词为$u$的概率(此处可以看做是一个二分类问题，最大似然函数).从形式上看，最大化$g(w)$，相当于最大化$\sigma (x_w^T{\theta }^w)$,同时最小化所有的$\sigma (x_w^T{\theta }^u),u\in NEG(w)$.这不正是我们希望的：增大正样本的概率的同时降低负样本的概率。
于是，对于一个语料库C，函数
$$G=\prod _{w\in c}g(w)$$
就可以作为整体优化的目标，为了计算方便，对G取对数，最终的目标函数就是
L = l o g G = l o g ∏ w ∈ C g ( w ) = ∑ w ∈ C l o g g ( w ) = ∑ w ∈ C l o g ∏ u ∈ { w } ⋃ N E G ( w ) { [ σ ( x w T θ u ) ] L w ( u ) ⋅ [ 1 − σ ( x w T θ u ) ] 1 − L w ( u ) } = ∑ w ∈ C ∑ u ∈ { w } ⋃ N E G ( w ) { L w ( u ) ⋅ l o g [ σ ( x w T θ u ) ] + [ 1 − L w ( u ) ] ⋅ l o g [ 1 − σ ( x w T θ u ) ] } \begin{aligned} L = logG & = log \prod_{w \in C} g(w) \\ &= \sum_{w \in C} log \quad g(w) \\ &= \sum_{w \in C} log \prod_{u \in\{w\}\bigcup NEG(w) } \{ [\sigma(x_w^T \theta^u)]^{L^w(u)} \cdot [1-\sigma(x_w^T \theta^u)]^{1-L^w(u)}\} \\ &= \sum_{w \in C} \sum_{u \in\{w\}\bigcup NEG(w) } \{ L^w(u) \cdot log[\sigma(x_w^T \theta^u)] +[1-L^w(u) ] \cdot log[1-\sigma(x_w^T \theta^u)]\} \end{aligned} L=logG​=logw∈C∏​g(w)=w∈C∑​logg(w)=w∈C∑​logu∈{w}⋃NEG(w)∏​{[σ(xwT​θu)]Lw(u)⋅[1−σ(xwT​θu)]1−Lw(u)}=w∈C∑​u∈{w}⋃NEG(w)∑​{Lw(u)⋅log[σ(xwT​θu)]+[1−Lw(u)]⋅log[1−σ(xwT​θu)]}​

1.2 cbow 梯度上升

为了梯度推导方便，令
$$L(w,u)=L^w(u)\cdot log[\sigma (x_w^T{\theta }^u)]+[1-L^w(u)]\cdot log[1-\sigma (x_w^T{\theta }^u)]$$
接下来利用随机梯度上升法计算梯度
∂ L ( w , u ) ∂ θ u = ∂ ∂ θ U { L w ( u ) ⋅ l o g [ σ ( x w T θ u ) ] + [ 1 − L w ( u ) ] ⋅ l o g [ 1 − σ ( x w T θ u ) ] } = L w ( u ) [ 1 − σ ( x w T θ u ) ] x w − [ 1 − L w ( u ) ] σ ( x w T θ u ) x w = { L w ( u ) [ 1 − σ ( x w T θ u ) ] − [ 1 − L w ( u ) ] σ ( x w T θ u ) } x w = [ L w ( u ) − σ ( x w T θ u ) ] x w \begin{aligned} \frac{ \partial L(w,u)}{ \partial \theta^u} & = \frac{ \partial }{ \partial \theta^U} \{ L^w(u) \cdot log[\sigma(x_w^T \theta^u)] +[1-L^w(u) ] \cdot log[1-\sigma(x_w^T \theta^u)] \} \\ &= L^w(u) [1-\sigma(x_w^T \theta^u)]x_w - [1-L^w(u)] \sigma(x_w^T \theta^u) x_w\\ &= \{L^w(u) [1-\sigma(x_w^T \theta^u)] - [1-L^w(u)] \sigma(x_w^T \theta^u) \}x_w \\ &= [L^w(u) - \sigma(x_w^T \theta^u) ]x_w \end{aligned} ∂θu∂L(w,u)​​=∂θU∂​{Lw(u)⋅log[σ(xwT​θu)]+[1−Lw(u)]⋅log[1−σ(xwT​θu)]}=Lw(u)[1−σ(xwT​θu)]xw​−[1−Lw(u)]σ(xwT​θu)xw​={Lw(u)[1−σ(xwT​θu)]−[1−Lw(u)]σ(xwT​θu)}xw​=[Lw(u)−σ(xwT​θu)]xw​​
于是，${\theta }^u$的更新公式可以写为
$${\theta }^u:={\theta }^u+\eta [L^w(u)-\sigma (x_w^T{\theta }^u)]x_w$$
且
$$\frac{\partial L(w,u)}{\partial x_u}=[L^w(u)-\sigma (x_w^T{\theta }^u)]{\theta }^u$$
于是利用$\frac{\partial L(w,u)}{\partial x_u}$可得$v(\tilde{w}),\tilde{w}\in context(w)$的更新公式
$$v(\tilde{w}):=v(\tilde{w})+\eta \sum _{u\in w\bigcup NEG(w)}\frac{\partial L(w,u)}{\partial x_w},\tilde{w}\in context(w)$$

1.3 cbow更新伪代码

1. e=0
2. $x_w={\sum }_{u\in context(w)}v(u)$
3. For $u\in w\bigcup NEG(w)DO$
   {
   3.1 $q=\sigma (x_w^T{\theta }^u)$
   3.2 $g=\eta (L^w(u)-q)$
   3.3 $e:=e+g{\theta }^u$
   3.4 ${\theta }^u:={\theta }^u+g{x}_w$
   }
4. For $u\in context(w)$
   {
   $v(u):=v(u)+e$
   }
   注释：结合伪代码，给出与word2vec源码中的对应关系如下:syn0对应$v(\cdot )$,syn1neg对应${\theta }^u$,neu1对应$x_w$,neu1e对应e

2. skip-gram模型

此章节将介绍基于negative sampling的skip-gram模型。
skip-gram模型：在已经中心词$w$的前提下，预测$w$的背景词$context(w)$的词向量

2.1 skip-gram 原理

首先，定义目标函数为
$$G=\prod _{w\in C}\prod _{w\in context(w)}g(u)$$
这里，${\prod }_{w\in context(w)}g(u)$表示对于一个给定的样本$(w,context(w))$,我们希望最大化的量
g ( u ) = ∏ z ∈ { u } ⋃ N E G ( w ) p ( z ∣ w ) g(u) = \prod_{z \in \{u\} \bigcup NEG(w)} p(z|w) g(u)=z∈{u}⋃NEG(w)∏​p(z∣w)
其中$NEG(w)$表示处理词u时生成的负样本子集，条件概率为
$$p(z|w)=\{\begin{array}{ll}\sigma (v_w^T{\theta }^z)& L^u(z)=1\\ 1-\sigma (v_w^T{\theta }^z)& L^u(z)=0\end{array}$$
或者写成整体表达式
$$p(z|w)=[\sigma (v_w^T{\theta }^z){]}^{L^u(z)}\cdot [1-\sigma (x_w^T{\theta }^z){]}^{1-L^u(z)}$$
同时，我们取G的对数，则最终的目标函数为
L = l o g G = l o g ∏ w ∈ C ∏ u ∈ c o n t e x t ( w ) g ( u ) = ∑ w ∈ C ∑ u ∈ c o n t e x t ( w ) l o g   g ( u ) = ∑ w ∈ C ∑ u ∈ c o n t e x t ( w ) l o g ∏ z ∈ { u } ⋃ N E G ( u ) p ( z ∣ w ) = ∑ w ∈ C ∑ u ∈ c o n t e x t ( w ) ∑ z ∈ { u } ⋃ N E G ( u ) l o g { [ σ ( v w T θ z ) ] L u ( z ) ⋅ [ 1 − σ ( x w T θ z ) ] 1 − L u ( z ) } = ∑ w ∈ C ∑ u ∈ c o n t e x t ( w ) ∑ z ∈ { u } ⋃ N E G ( u ) { L u ( z ) ⋅ l o g [ σ ( v w T θ z ) ] + [ 1 − L u ( z ) ] ⋅ l o g [ 1 − σ ( v w T θ z ) ] } \begin{aligned} L = logG & = log \prod_{w \in C} \prod_{u \in context(w)} g(u) \\ &= \sum_{w \in C} \sum_{u \in context(w)} log \ g(u) \\ &= \sum_{w \in C} \sum_{u \in context(w)} log \prod_{z \in \{u\} \bigcup NEG(u)} p(z|w) \\ &= \sum_{w \in C} \sum_{u \in context(w)} \sum_{z \in \{u\} \bigcup NEG(u)} log\{[\sigma(v_w^T \theta^z)]^{L^u(z)} \cdot [1-\sigma(x_w^T \theta^z)]^{1-L^u(z)} \} \\ &= \sum_{w \in C} \sum_{u \in context(w)} \sum_{z \in \{u\} \bigcup NEG(u)} \{L^u(z) \cdot log[\sigma(v_w^T \theta^z)] + [1-L^u(z)] \cdot log[1-\sigma(v_w^T \theta^z)]\} \end{aligned} L=logG​=logw∈C∏​u∈context(w)∏​g(u)=w∈C∑​u∈context(w)∑​log g(u)=w∈C∑​u∈context(w)∑​logz∈{u}⋃NEG(u)∏​p(z∣w)=w∈C∑​u∈context(w)∑​z∈{u}⋃NEG(u)∑​log{[σ(vwT​θz)]Lu(z)⋅[1−σ(xwT​θz)]1−Lu(z)}=w∈C∑​u∈context(w)∑​z∈{u}⋃NEG(u)∑​{Lu(z)⋅log[σ(vwT​θz)]+[1−Lu(z)]⋅log[1−σ(vwT​θz)]}​

2.2 skip-gram 随机梯度上升法

值得一提的是，word2vec源码中基于negative sampling 的skip-gram模型并不是基于此目标函数进行编程的，因为如果是基于上述目标函数进行编程的话，那么对于每个$(w,context(w))$，需要针对$context(w)$中的每一个词进行负采样，而word2vec源码中只是针对$w$进行了$|context(w)|次负采样$
那么，word2vec源码这一块的依据是什么？
与hierachical softmax的skip-gram一样的处理方式，因为我们希望
$$\prod _{w\in C}\prod _{u\in context(w)}p(u|w)$$
最大的同时，也希望
$$\prod _{w\in C}p(w|context(w))$$
最大。
所以，skip-gram在源码中实际用的还是cbow模型，只是将原本通过求均值做整体用的上下文$context(w)$直接输入，相当于输入从1个均值向量变成了2c个词自身的词向量。
首先，我们希望最大化
g ( w ) = ∏ w ~ ∈ c o n t e x t ( w ) ∏ u ∈ { w } ⋃ N E G w ~ ( w ) p ( u ∣ w ~ ) g(w) = \prod_{\widetilde{w} \in context(w)} \prod_{u \in\{w\}\bigcup NEG^{\widetilde{w}}(w) } p(u|\widetilde{w}) g(w)=w ∈context(w)∏​u∈{w}⋃NEGw (w)∏​p(u∣w )
其中
$$p(u|\tilde{w})=\{\begin{array}{ll}\sigma (v_{\tilde{w}}^T{\theta }^u)& L^w(u)=1\\ 1-\sigma (v_{\tilde{w}}^T{\theta }^u)& L^w(u)=0\end{array}$$
或者写成整体表达式
$$p(u|\tilde{w})=[\sigma (v_{\tilde{w}}^T{\theta }^u{]}^{L^w(u)}\cdot [1-\sigma (v_{\tilde{w}]}^{1-L^w(u)}$$
这里$NE{G}^{\tilde{w}}(w)$表示词$\tilde{w}$时生成的负样本子集，于是对于一个给定的语料库C，函数
$$G=\prod _{w\in C}g(w)$$
就可以作为整体优化的目标。同样，我们取G的对数，最终的目标函数就是
L = l o g G = l o g ∏ w ∈ C g ( w ) = ∑ w ∈ C l o g g ( w ) = ∑ w ∈ C l o g ∏ w ~ ∈ c o n t e x t ( w ) ∏ u ∈ { w } ⋃ N E G w ~ ( w ) { [ σ ( v w ~ T θ u ) ] L w ( u ) ⋅ [ 1 − σ ( v w ~ T θ u ) ] 1 − L w ( u ) } = ∑ w ∈ C ∑ w ~ ∈ c o n t e x t ( w ) ∏ u ∈ { w } ⋃ N E G w ~ ( w ) { L w ( u ) ⋅ l o g [ σ ( v w ~ T θ u ) ] + [ 1 − L w ( u ) ] ⋅ l o g [ 1 − σ ( v w ~ T θ u ) ] } \begin{aligned} L = logG & = log \prod_{w \in C} g(w) \\ &= \sum_{w \in C} log \quad g(w) \\ &= \sum_{w \in C} log \prod_{\widetilde{w} \in context(w) } \prod_{u \in\{w\}\bigcup NEG^{\widetilde{w}}(w) } \{ [\sigma(v_{\widetilde{w}}^T \theta^u)]^{L^w(u)} \cdot [1-\sigma(v_{\widetilde{w}}^T \theta^u)]^{1-L^w(u)}\} \\ &= \sum_{w \in C} \sum_{\widetilde{w} \in context(w) } \prod_{u \in\{w\}\bigcup NEG^{\widetilde{w}}(w) } \{ L^w(u) \cdot log[\sigma(v_{\widetilde{w}}^T \theta^u)] +[1-L^w(u) ] \cdot log[1-\sigma(v_{\widetilde{w}}^T \theta^u)]\} \end{aligned} L=logG​=logw∈C∏​g(w)=w∈C∑​logg(w)=w∈C∑​logw ∈context(w)∏​u∈{w}⋃NEGw (w)∏​{[σ(vw T​θu)]Lw(u)⋅[1−σ(vw T​θu)]1−Lw(u)}=w∈C∑​w ∈context(w)∑​u∈{w}⋃NEGw (w)∏​{Lw(u)⋅log[σ(vw T​θu)]+[1−Lw(u)]⋅log[1−σ(vw T​θu)]}​
为了方便起见，将三重求和符号下花括号里的内容简记为$L(w,\tilde{w},u)$，即
$$L(w,\tilde{w},u)=L^w(u)\cdot log[\sigma (v_{\tilde{w}}^T{\theta }^u)]+[1-L^w(u)]\cdot log[1-\sigma (v_{\tilde{w}}^T{\theta }^u)]$$
接下来利用随机梯度上升法对此目标哦函数进行优化。
∂ L ( w , w ~ , u ) ∂ θ u = ∂ ∂ θ u { L w ( u ) ⋅ l o g [ σ ( v w ~ T θ u ) ] + [ 1 − L w ( u ) ] ⋅ l o g [ 1 − σ ( v w ~ T θ u ) ] } = L w ( u ) [ 1 − σ ( v w ~ T θ u ) ] v w ~ − [ 1 − L w ( u ) ] σ ( v w ~ T θ u ) v w ~ = { L w ( u ) [ 1 − σ ( v w ~ T θ u ) ] − [ 1 − L w ( u ) ] σ ( v w ~ T θ u ) } v w ~ = [ L w ( u ) − σ ( v w ~ T θ u ) ] v w ~ \begin{aligned} \frac{ \partial L(w,\widetilde{w},u)}{ \partial \theta^u} & = \frac{ \partial }{ \partial \theta^u} \{ L^w(u) \cdot log[\sigma(v_{\widetilde{w}}^T \theta^u)] +[1-L^w(u) ] \cdot log[1-\sigma(v_{\widetilde{w}}^T \theta^u)] \} \\ &= L^w(u) [1-\sigma(v_{\widetilde{w}}^T \theta^u)]v_{\widetilde{w}} - [1-L^w(u)] \sigma(v_{\widetilde{w}}^T \theta^u) v_{\widetilde{w}}\\ &= \{L^w(u) [1-\sigma(v_{\widetilde{w}}^T \theta^u)] - [1-L^w(u)] \sigma(v_{\widetilde{w}}^T \theta^u) \}v_{\widetilde{w}} \\ &= [L^w(u) - \sigma(v_{\widetilde{w}}^T \theta^u) ]v_{\widetilde{w}} \end{aligned} ∂θu∂L(w,w ,u)​​=∂θu∂​{Lw(u)⋅log[σ(vw T​θu)]+[1−Lw(u)]⋅log[1−σ(vw T​θu)]}=Lw(u)[1−σ(vw T​θu)]vw ​−[1−Lw(u)]σ(vw T​θu)vw ​={Lw(u)[1−σ(vw T​θu)]−[1−Lw(u)]σ(vw T​θu)}vw ​=[Lw(u)−σ(vw T​θu)]vw ​​
于是，${\theta }^u$的更新公式可以写为
$${\theta }^u:={\theta }^u+\eta [L^w(u)-\sigma (v_{\tilde{w}}^T{\theta }^u)]v_{\tilde{w}}$$
且
$$\frac{\partial L(w,\tilde{w},u)}{\partial v_{\tilde{w}}}=[L^w(u)-\sigma (v_{\tilde{w}}^T{\theta }^u)]{\theta }^u$$
于是利用$\frac{\partial L(w,\tilde{w},u)}{\partial x_u}$可得$v(\tilde{w}),\tilde{w}\in context(w)$的更新公式
$$v(\tilde{w}):=v(\tilde{w})+\eta \sum _{u\in w\bigcup NE{G}^{\tilde{w}}(w)}\frac{\partial L(w,\tilde{w},u)}{\partial v_{\tilde{w}}},\tilde{w}\in context(w)$$

2.3 skip-gram 参数更新伪代码

{
$for\tilde{w}=context(w)DO$：
$e=0$
f o r u = { w } ⋃ N E G w ~ ( w ) D O \qquad for \quad u = \{w\} \bigcup NEG^{\widetilde{w}}(w) \quad DO foru={w}⋃NEGw (w)DO：
$q=\sigma (v_{\tilde{w}}^T{\theta }^u)$
$g=\eta (L^w(u)-q)$
$e:=e+g{\theta }^u$
${\theta }^u:={\theta }^u+g{v}_{\tilde{w}}$
$v_{\tilde{w}}:=v_{\tilde{w}}+e$
}

3.负采样算法

顾名思义，在基于negative sampling的CBOW和skip-gram模型中，负采样是重要的环节，对定一个给定的词$w$，如何生成$NEG(w)$呢？