word2vec相关技术总结

对中文进行NLP，首先要对要处理的文本进行分词，再对每一个词建立向量空间，即word2Vec。

简单的词向量-one-hot vector

最简单的词向量可采用one-hot vector，对每个词用单位向量来进行表示。比如对所有的词$w_1$, $w_2$, … $w_{|V|}\in V$，对其中的词$w_i$，表示的词向量为 ( 0 , 0 , . . . , 1 , 0 , . . . 0 ) T ∈ { 0 , 1 } ∣ V ∣ (0,0,...,1,0,...0)^T \in \{0,1\}^{|V|} (0,0,...,1,0,...0)T∈{0,1}∣V∣，其中向量在第$i$个位置为1，其它为0。
这种词向量会导致建立的维度太大，矩阵过于稀疏，现在用的不多了。

基于频度的共生矩阵的方法

我们可以先建立一个$R^{|V|\times |V|}$的矩阵。比如以下三句话：

• 我 热爱 祖国
• 我 热爱 人民
  以每句话中的每一个词，作为中心词，然后看与中心词相邻的词一起出现了几次。假设我们的训练集只有这三句话，也就是 { 我 , 热 爱 , 祖 国 , 人 民 } = V \{我,热爱,祖国,人民\} = V {我,热爱,祖国,人民}=V；同时假定我们只看相邻距离为1的词。比如我+热爱，出现了2次；我+祖国出现了1次；我+人民出现了1次等等。这样建立的矩阵就为
  $$\begin{array}{rl}& \begin{array}{cccc}我& 热爱& 祖国& 人民\end{array}\\ X=& \left(\begin{array}{cccc}0& 2& 0& 0\\ 2& 0& 1& 1\\ 0& 1& 0& 0\\ 0& 1& 0& 0\end{array}\right)\begin{array}{c}我\\ 热爱\\ 祖国\\ 人民\end{array}\end{array}$$
  再对该矩阵进行奇异值分解（SVD）,即$X=U\Sigma V^T$，其中矩阵$U,\Sigma ,V\in R^{|V|\times |V|}$，$U=(u_1,u_2,...,u_{|V|})$，$\Sigma =diag({\sigma }_1,{\sigma }_2,...,{\sigma }_{|V|})$，$V=(v_1,...,v_{|V|})$，其中$u_i$, $v_i$均为$|V|$维的向量。
  然后再进行降维至$K$维，即$U_K=(u_1,u_2,..,u_K)$, $V_K=(v_1,v_2,..,v_K)$, ${\Sigma }_K=({\sigma }_1,...,{\sigma }_k)$，这样$X_K=U_K\Sigma V_K^T$，即为$|V|\times K$的矩阵，矩阵$X_K$的第$i$行可认为是单词$i$对应的词向量$x_i^T$。
  注意到对$X$进行SVD，计算复杂度可高达$O(|V{|}^3)$，因此现在用的也少。

基于Word2Vec的方法

CBOW法

将每一句话的每一个单词看作是一个中心词，和中心词相邻的距离为$m$的词对应词为上下文词。CBOW法是已知上下文词，推测中心词为哪个词。比如假定$m=1$，看以下这句话

• 我 明天 就 回家 了

比如对中心词“就”，和它相邻距离为1的词为"明天"和“回家”。CBOW的中心思想是，已知"明天"和“回家”，求所有的词向量，使得"就“出现的概率最大。
假定我们就考虑 { 我 , 明 天 , 就 , 回 家 , 了 } = V \{我,明天,就,回家,了\}=V {我,明天,就,回家,了}=V，可以建立一个只有一层隐藏层（两层全连接层）的神经网络。神经网络的输入、输出均采用one-hot vector编码，即对”我“编码为$(1,0,0,0,0{)}^T$，明天编码为$(0,1,0,0,0{)}^T$，依次类推。那么神经网络的结构可以表示为

其中$K$为我们需要计算的词向量的长度。隐藏层之前的$W_{|V|\times K}$的weight matrix定义为我们想要的输入词矩阵，其中矩阵的每一行对应一个单词的输入词向量$w_i^T$，隐藏层之后的$U_{K\times |V|}$定义为我们想要的输出词矩阵，其中矩阵的每一列对应一个单词的输出词向量$u_i$。
很明显，这个并不是一个标准的神经网络，因为隐藏层的输出并没有激活，而是对输出的结果各行求了平均。输入到隐藏层的矩阵为${\tilde{W}}_{2m\ast K}$，其中$\tilde{W}$的每一行正好对应的是输入的上下文词的输入词向量，即$(w_{j_{c-m}},...,w_{j_{c-1}},w_{j_{c+1}},...,w_{j_{c+m}}{)}^T$，求完平均后矩阵为
$$\overline{w_c^T}=\frac{1}{2m}\sum _{i=c-m}^{i=c+m}{w}_{j_i}^T$$
其中，$\overline{w_c^T}$为$K$维向量。对数据求$softmax$，即
$$\begin{array}{rl}output& =softmax(\overline{w_c^T}{u}_1,...,\overline{w_c^T}{u}_{|V|})\\ & =({\hat{y}}_1,...,{\hat{y}}_{|V|})\end{array}$$
训练集里，输出应为$(y_1,...,y_{|V|})$，定义输出的损失函数为
$$L=-\sum _i{y}_i\log {\hat{y}}_i$$
注意到$(y_1,...,y_{|V|})$采用的是one-hot vector编码，所以对于输入的中心词$c$，其对应的$y_c=1$，同时$y_i=0,\forall i\ne c$。这样损失函数可以简化为
$$\begin{array}{rl}L& =-\log {\hat{y}}_c\\ & =-\overline{w_c^T}{u}_c+\log \sum _{i=1}^{|V|}\exp \overline{w_c^T}{u}_i\end{array}$$

Skip-Gram法

Skip-Gram与CBOW正好相反，是输入中心词的one-hot vector，输出上下文词的one-hot vector，对应的神经网络的结构为

隐藏层的输出为$w_c^T$为$K$维向量，这样到输出层的向量为
$$\begin{array}{rl}& w_c^T(u_1,...,u_{|V|})\\ & =(w_c^T{u}_1,...,w_c^T{u}_{|V|})\end{array}$$
其中输出的第$i$个分量，对应的损失函数为
$$\begin{array}{rl}{L}_i& =-\log {\hat{y}}_{c-m+i}\\ & =-w_c^T{u}_{j_{c-m+i}}+\log \sum _{i=1}^{|V|}\exp w_c^T{u}_i\end{array}$$
总损失函数为
$$\begin{array}{rl}L& =\sum _{i=0,i\ne m}^{2m}{L}_i\\ & =-\sum _{i=0,i\ne m}^{2m}{w}_c^T{u}_{j_{c-m+i}}+2m\log \sum _{i=1}^{|V|}\exp w_c^T{u}_i\end{array}$$
有了损失函数，就可以将$L$分别对$u_i$和$w_i$取偏导，通过随机梯度法的迭代，去解出词向量矩阵的最优值。

改进1——Negative Sampling

上述方法中的$L$，都涉及到要对$|V|$个数求和。这样每次采用梯度法迭代时，对每一个分量求梯度都会有$|V|$个求和运算。由于汉语的词汇量很大，达几十万个。这种方法会导致每次迭代的运算量过大，收敛慢。因此，需要考虑定义一个更加有效的损失函数$L$。
令$\mathcal{D}$为语料库中的中心词和上下文词构成的集合。现在我们考虑另一个集合$\hat{\mathcal{D}}$，表示所有中心词不对应的上下文词构成的集合。我们取求$U$和$W$，使得以下值最大
$$L=-\log \prod _{(c,a)\in \mathcal{D}}P(D=1|c,a,U,W)\prod _{(c,a)\in \hat{\mathcal{D}}}P(D=0|c,a,U,W)$$
其中$P(D=1|c,a,U,W)$为$(c,a)$作为中心词和上下文词出现在语料库的概率，利用$softmax$可将其定义为
$$P(D=1|c,a,U,W)\equiv \frac{1}{1+\exp (-w_c^T{u}_a)}\equiv \sigma (w_c^T{u}_a)$$
这样，$L$可以化简为
$$L=-\sum _{(c,a)\in \mathcal{D}}\log \sigma (w_c^T{u}_a)-\sum _{(c,a)\in \hat{\mathcal{D}}}\log \sigma (-w_c^T{u}_a)$$
在实际中$\hat{\mathcal{D}}$可以通过随机取样获得。注意到skip-gram的损失函数$L_i$为
$$L_i=-\log \exp w_c^T{u}_{j_{c-m+i}}+\log \sum _{i=1}^{|V|}\exp w_c^T{u}_i$$
可以改写为
$$L_i=-\log \sigma (w_c^T{u}_{j_{c-m+i}})-\log \sum _{(c,a)\in \hat{\mathcal{D}}}\sigma (-w_c^T{u}_a)$$
而CBOW的损失函数$L$则可以改写为
$$L=-\log \sigma (\overline{w_c^T}{u}_c)-\log \sum _{(c,a)\in \hat{\mathcal{D}}}\sigma (-\overline{w_c^T}{u}_a)$$
这样，对应每个中心词c，我们只需要随机找出一部分不是它上下文的词a就可以。同时要注意到随机取a时也要考虑到a本身在语料库中出现的频率，令$freq(a)=count(a)/|Text|$，那取a的概率建议为$freq(a{)}^{3/4}$。所以negative sampling算法在为常见词建立词向量空间，是适合的。

改进2-Hierarchical Softmax

针对于非常见词，更合适的改进算法是Hierarchical softmax方法。

图中给出了Hierarchical softmax的算法。首先，将语料库的所有词建成一个二叉树的结构，其中每一个词都是这个树的叶子节点。（算法作者建议构建成Huffman树，频率高的词位于层数低的叶子节点，频率低的词位于层数高的叶子节点）。
图里以skip-gram为例，给定要训练的中心词$c$和上下文词$a$，找从根节点到$a$的路径。定义给定中心词$c$，出现上下文词$a$的概率为
$$\begin{array}{rl}P(a|c)& =P(a在节点6的右边|c)\ast P(a在节点4左边|c)\ast P(a在节点3右边|c)\\ & =\sigma (v_6^T{v}_c)\ast \sigma (v_4^T{v}_c)\ast \sigma (-v_3^T{v}_c)\end{array}$$
这里利用了$\sigma (x)+\sigma (-x)=1$的性质。
于是损失函数即为
$$\begin{array}{rl}{L}_i& =-\log P(a|c)=-\sum _{n为到a的节点}\log \sigma (v_n^T{v}_c\ast s_n)\\ s_n& =\{\begin{array}{ll}1& a在节点n的右边\\ -1& a在节点n的左边\end{array}\end{array}$$
和skip-gram原算法的$L_i$进行比较可以发现，这里的计算$L_i$复杂度取决于树的高度，即$O({\log }_2|V|)$，而不再是整个词汇的数目$O(|V|)$，大大减少了计算的复杂度。