word2vec 模型思想和代码实现

---

CS224d－Day 3:

word2vec 有两个模型，CBOW 和 Skip-Gram，今天先讲 Skip-Gram 的算法和实现。

课件：
https://web.archive.org/web/20160311161826/http://cs224d.stanford.edu/lecture_notes/LectureNotes1.pdf

---

Skip-Gram 能达到什么效果？

比如词库里有这么一句话 ‘The cat jumped over the puddle’， 如果给我们 ‘jumped’时，我们可以推出它周围的词： “The”, “cat”, “over”, “the”, “puddle”。这就是 skip gram 做的事情：

Skip-gram 算法如下

其中，word i 对应的 one-hot vector 是 x，W^1 是 input vector matrix，它的第 i 列是 word i 的 input vector，用 u^i 表示，W^2 是 output vector matrix，它的第 i 行是 word i 的 output vector，用 v^i 表示，也就是对于每个词，都有两个向量表示，而这两个 W 也正是我们要求的。

我们的目标是要让下面的条件概率达到最大：也就是在给定 word i 的前提下，使它周围的词语是窗口长为2C内的上下文的概率达到最大。

为了求这两个参数矩阵，我们要使下面这个 cost function J 达到最小：

其中这个概率的计算用到了 softmax 函数来求得。

所以这个模型就变为，对 J 求参数的偏导，再用梯度下降方法更新梯度，最后让 cost 达到最小。

下面这个公式是 J 对 input vector 的偏导，每次更新 W^1 的相应行：

下面这个公式是 J 对 output vector 的偏导，每次更新 W^2：

要把上面的算法实现，代码如下：

def test_word2vec():

    dataset = type('dummy', (), {})()     #create a dynamic object and then add attributes to it
    def