word2vec之Negative Sampling理解

word2vec之Negative Sampling理解

本文章将介绍基于Negative Sampling的CBOW和Skip-Gram模型。与Hierarchical Softmax相比，Negative Sampling不需要构建复杂的Huffman树，以及进行多次二分类，而是利用简单的随机负采样，能大幅度提高性能。因而可以说Negative Sampling是Hierarchical Softmax的一种改进。

1 CBOW模型

在cbow模型中，已知的是上下文$context(w)$，需要去预测词语$w$。所以可以换种说法，对于特定的$context(w)$，词语$w$是其正样本，其他词语就是其负样本。但是负样本那么多，我们如何高效的去选择负样本，这就牵涉到Negative Sampling算法。首先，我们假设已经采样到一个负样本集合$NEG(w) \neq \phi$。对于一个$\widetilde{w}$，定义一个标签：
$\iota (\widetilde{w}) = 1$ 当$\widetilde{w} = w$
$\iota (\widetilde{w}) = 0$ 当$\widetilde{w} \neq w$
所以类似逻辑回归，我们定义了一个如下的公式：
$p(u|context(w))) = \delta (x_{w}^{T}\theta ^{u})$ 当$\iota (\widetilde{w}) = 1$
$p(u|context(w))) = 1- \delta (x_{w}^{T}\theta ^{u})$ 当$\iota (\widetilde{w}) = 0$
将其写成一个正式为：

$$p(u|context(w))) =\delta (x_{w}^{T}\theta ^{u})^{\iota ^{w}(u)}(1 - \delta (x_{w}^{T}\theta ^{u}))^{1- \iota ^{w}(u)}$$
假设词语之间相互独立，我们希望最大化的是：
$$g(w) = \prod_{u\epsilon {w}\bigcup NEG{w}}p(u|context(w)) = \prod_{u\epsilon {w}\bigcup NEG{w}}\delta (x_{w}^{T}\theta ^{u})^{\iota ^{w}(u)}(1 - \delta (x_{w}^{T}\theta ^{u}))^{1- \iota ^{w}(u)}$$
对于一个给定的语料库 $C$，假设其中各词语相互独立，所以整体函数为:
$$G = \prod_{w\epsilon C}g(w)$$
为了求得 $g(w)$的最大值，我们对上式进行最大似然估计：

ι=log(G)=log