word2vec理论和实现及负采样技术

cs224n assignment2: Word2vec实现

本文是对cs224n_assignment 2实验中理论部分的总结。

原版lab 手册和code参见：

Stanford CS 224N | Natural Language Processing with Deep Learning

笔者完成了实验，code参见：
word2vec_lab

skip-gram思想：

用center word预测outside word。

定义参数：

定义两张表$U$和$V$，同时也是该网络唯一的参数。

处理center word时，查询$V$，处理outside word，查询$U$。

查询结果( $u_i,v_j$ )分别作为outside word和center word的词向量。

优化目标:

center word c预测到outside word为o的概率为：
$$P(O=o|C=c)=\frac{exp(u_o^T{v}_c)}{{\sum }_{w\in vocab}exp(u_w^T{v}_c)}$$
对应代码实现为：

import numpy as np
def softmax(x):
    """Compute the softmax function for each row of the input x.
    It is crucial that this function is optimized for speed because
    it will be used frequently in later code
	Arguments:
	x -- A D dimensional vector or N x D dimensional numpy matrix.
	Return:
	x -- You are allowed to modify x in-place
	"""
    orig_shape = x.shape

    if len(x.shape) > 1:
        # Matrix
        tmp = np.max(x, axis=1)
        x -= tmp.reshape((x.shape[0], 1))
        x = np.exp(x)
        tmp = np.sum(x, axis=1)
        x /= tmp.reshape((x.shape[0], 1))
    else:
        # Vector
        tmp = np.max(x)
        x -= tmp
        x = np.exp(x)
        tmp = np.sum(x)
        x /= tmp

    assert x.shape == orig_shape
    return x`

outsideWordVecs=np.random.rand(100,10) #U
centerWordVecs=np.random.rand(100,10) #V

centerWordIndex=1
centerWordVector=centerWordVecs[centerWordIndex]

softmax(np.dot(outsideWordVecs,centerWordVector)).shape
#(100,)

$P$表征预测词的概率分布，既然是分类问题，则使用交叉熵损失函数。记$o$即为当前预测的target，则损失函数
$$\mathcal{L}=-log(P(O=o|C=c))$$
网络的目标在于找到：
$$ar{g}_{U,V}min\mathcal{L}$$

下面讨论分析优化的过程，指出这个办法的性能瓶颈，并介绍改进的负采样技术

使用SGD的办法优化网络，梯度为：
$$\nabla \mathcal{L}=(\frac{\partial }{V}\mathcal{L},\frac{\partial }{U}\mathcal{L})$$
对于前一项，只需对$v_0$求导，其余地方梯度为0，不难证明：