(2) Skip-gram模型
设样本为
① 网络结构
a 输入层:只含当前样本中心词的词向量
.
b 投影层: 这个是恒等投影,把投影到
,所以投影层是多余的
c 输出层: 输出层为一颗Huffman树
② 梯度计算
目标函数形如
定义
其中
,
所以
记花括号中的内容为
参数的更新采用梯度上升法
所以的更新公式为
中
和
是对称的,所以
于是的更新公式为
③ 伪代码
a 中所有的词都处理完后才刷新
b 一种改进是每处理完中的一个词
就及时刷新