word2vec Parameter Learning Explained笔记

目录

1.CBOW模型
2.Skip Gram模型
3.Hierarchical softmax
4.Negative Sampling
前言，下面公式多次用到的求导法则：
sigmoid函数的导数具有以下形式：

1.CBOW模型

首先从输入输出都是一个词的模型讲起。

模型中词典大小为V，隐藏层规模为N，连接层为全连接，输入层为one-hot编码方式。对于一个特定词，词向量为x={x1，x2，…，xv},则模型输入为x，权重矩阵为W。隐藏层的求解公式如下所示：

因为x中只有一位为1，其它为都为0，所以h向量其实就是input->hidden权重矩阵WW的某一行结合输入单词ωI的向量拷贝，即如下所示：

隐藏层到输出层的权重记为W’,vwj为w’的一行，uj为标量，可用来对输出的每一个值打分，分高的对应预测的可能性更高。

对于输入词i，输出词为j的概率为：