面向语法分析的word2vec修正

文献：L Wang，C Dyer， AW Black， I Trancoso. Two/Too Simple Adaptations of Word2Vec for Syntax Problems[C]. ACL 2015: 1299–1304.
https://github.com/wlin12/wang2vec

问题分析

CBOW与skip-gram在利用目标词的上下文进行其语义嵌入表示时，没有考虑上下文内的词序信息，从而使得该二者无法有效解决语法分析相关问题，这是由于 syntax关心的是“what words go where?”而语义关心的是“what words go together”。

Structured Word2Vec

• Structured Skip-Ngram
  skip-gram模型在利用中心词$w_o$预测其语境词$w_{-c},\cdots, w_{-1}, w_{1}, \cdots, w_{c}$时只运用一个输出矩阵$O \in R^{|V| \times d}$. 而在Structured Skip-Ngram中，对每个场景词$w_i$分别定义一个$O_i \in R^{|V| \times d}$。则待优化的概率转变为：$p(w^p=j|w=i)=exp(C_j^p \cdot E \cdot w^i)$, $w=i$表示当前窗口中心词是vocabulary中的第$i$个词, $w^p=j$表示当前窗口中心词的语境词$w^p$是vocabulary中的第$j$个词. $E$为嵌入矩阵，$E \cdot w^i$表示提取$w^i$的嵌入表示，$C_j^p$就是第$j$个单词的输出矩阵。

• CWINDOW
  CBOW模型是通过对上下文窗口内的各单词向量进行求和来实现中心词向量的修正，从而导致单词顺序信息丢失。而在CWINDOW中，不是以求和方式构造输出矩阵$O$而是以连接方式产生$O = [e({w_{ - c}}), \cdots ,e({w_{ - 1}}),e({w_1}), \cdots ,e({w_c})]$,这样可以保存顺序信息。