cs224n词向量表示word2vec

Word2vec

word2vec模型的核心是构建一个简单、可扩展的快速训练模型。利用语义理论来预测每个单词和它的上下文的词汇
两个算法：
Skip-grams (SG)：预测上下文
Continuous Bag of Words (CBOW)：预测目标单词
两种稍微高效一些的训练方法：
Hierarchical softmax
Negative sampling
但在这门课里，只会讲Naïve softmax。

Skip-gram prediction

已知当前词语，预测上下文。m为窗口半径为超参数，$w_t$表示第t个中心词
我们要最大化当前中心词的所有上下文词的概率，θ为模型参数
$$\begin{gathered} J^{\prime }(\theta )=\prod _{t=1}^T\prod _{-m\le j\le m \\ j̸=0}p(w_{t+j}|w_t;\theta ) \end{gathered}$$
对数似然函数为：
$$J(\theta )=-\frac{1}{T}\sum _{t=1}^T\sum _{-m\le j\le m}logp(w_{t+j}|w_t)$$
在实际操作时，要对这个最原始的目标函数进行一下改造。乘法显然是不太好处理的，一个通用的trick是将乘法转成求和，利用log操作。处理最小化要比处理最大化更受欢迎，原始目标函数是进行最大化，取个负数就转成了最小化。因此，将原始目标函数进行对数似然的相反数操作即可得到较易处理的损失函数形式。对于目标函数里的p，用softmax函数得到。
softmax函数本质上是将一个向量转换成另一个向量，向量的shape不变，只是将向量中的各个值进行"规范化"处理，将一个任意值转成(0,1)之间的一个浮点数，在NN里这个值可近似认为是概率。softmax的计算函数如下：
$$p(o|c)=\frac{exp(u_0^T{v}_c)}{{\sum }_{w=1}^{v}exp(u_w^T{v}_c)}$$
这里涉及到的u和v分别对应词o（context词）的向量和词c（中心词）的向量，来自于两个矩阵U和V，二者均为这个模型的参数，是我们要通过损失函数反复迭代更新的。

Skipgram最左侧的$w_t$为中心词的one hot编码，然后他右边的矩阵为每个中心词的数值向量表示，将$w_t与W相乘$可以提取到中心词t的数值向量，然后右边我们有向量用于储存上下文词汇的表示，我们把提取出的向量与矩阵相乘，我们得到了这些内积，然后通过softmax就能产生概率分布。

gradient

我们可以用gradient来最小化负对数似然函数
$$\begin{gathered} \frac{\partial }{\partial v_c}log\frac{exp(u_0^T{v}_c)}{{\sum }_{w=1}^{V}exp(u_w^T{v}_c)} \\ =\frac{\partial }{\partial v_c}logexp(u_0^T{v}_c)-log\sum _{w=1}^{V}exp(u_w^T{v}_c) \end{gathered}$$
对于前半部分求偏导$=u_0$
对于后半部分求偏导chain rule
$$\begin{gathered} \frac{\partial }{\partial v_c}log\sum _{w=1}^{V}exp(u_w^T{v}_c) \\ =\frac{1}{{\sum }_{w=1}^{V}exp(u_w^T{v}_c)}\ast \frac{\partial }{\partial v_c}\sum _{x=1}^{V}exp(u_x^T{v}_c) \\ =\frac{1}{{\sum }_{w=1}^{V}exp(u_w^T{v}_c)}\ast \sum _{x=1}^{V}exp(u_x^T{v}_c)\ast u_x \end{gathered}$$
可以得到对数似然函数的偏导为：
$$\begin{gathered} u_0-\frac{{\sum }_{x=1}^{V}exp(u_x^T{v}_c)\ast u_x}{{\sum }_{w=1}^{V}exp(u_w^T{v}_c)} \\ =u_0-\sum _{x=1}^{V}p(x|c)u_x \end{gathered}$$
u0为实际输出的上下文词汇，后面的部分为对于每一个词的期望。接下来我们要做的就是调整参数使其最小化