NLP词向量表示：CBOW、Skip-gram、hierarchical softmax、negative sampling

词向量表示

  词向量表示模型比较基础的有word of bag、word2vec等，现在比较流行的还有Bert、Xlnet等，这篇blog先主要讲一下有名的skip-gram模型和CBOW模型，这俩都属于word2vec模型，同时总结一下比较有名的优化方法hierarchical softmax和negative sampling。

CBOW

  对于一段文本$w_1,w_2\dots w_n$，CBOW就是根据背景词预测中心词，设词库总量是$V$，假设考虑邻近的$2c$个词，如果我们想要预测$w_i$，那模型的输入就是$w_{i-c},\dots ,w_{i-1},w_{i+1},\dots ,w_{i+c}$，输出是一个包含有$V$个值的一维向量，一维向量的每个值代表着选取词库中各个词的概率，所以这个一维向量的每个值的总和为1，概率最高的词即是输出，如果模型效果好，概率最高的值指代的词就是预测结果，模型示意图如下：

  模型的参数主要体现在两个参数矩阵$A,B$，其中$A=W_{V\times N}，B=W_{N\times V}^{\prime }$，其中$N$是我们事先规定的词向量的表示维度(dimension)，对于输入的2c个词，我们会用one-hot编码记录成矩阵$X_{2c\times V}$，V是词库大小，$(X\cdot A{)}_{2c\times N}$得到这2c个词的词向量表示，通过求和取平均，压缩成一维向量$Avg((X\cdot A){)}_{1\times N}$，那么$\left(Avg\right((X\cdot A))\cdot B{)}_{1\times V}$在经过softmax就是对词库V个词的概率映射。

  上述是模型的前向传播过程，利用随机梯度下降，反向传播更新参数矩阵$A,B$，最后使用模型时只用矩阵$A$，对于输入的单词$w$，经过相同规则的one-hot编码得到 w ′ w'