1. 模型框架
- CBOW模型,上下文预测中心词,目标函数为
- Skip-gram模型,中心词预测上下文,目标函数为
2. Hierarchical Softmax
借助CBOW训练模型,得到词向量
2.1 CBOW模型
- 输入层:2c个上下文context(w)的词向量
- 投影层:2c个向量求和累加
- 输出层:huffman树和sigmoid函数(一开始就将词汇建立了一个huffman树)
从根节点到足球,共经历四次分支,每次分支可看做是一次二分类,即将一个节点进行分类,分到左边是负类,分到右边是正类。
一个节点被分为正类的概率是(后续要优化)
被分为负类的概率是
x w T 是 足 球 这 个 叶 子 节 点 的 词 向 量 表 达 , Θ 是 非 叶 节 点 对 应 的 向 量 x_w^{T}是足球这个叶子节点的词向量表达,\Theta 是非叶节点对应的向量 xwT是足球这个叶子节点的词向量表达,Θ是非叶节点对应的向量
最后的结果是将四次的分类相乘
因此,条件概率的一般公式可以写成
其中,
或者写成整体表达式
代入下列公式,得到
将内核表示成
上面就是CBOW模型的目标函数
目前需要做的就是将这个函数最大化,因此使用随机梯度上升法
霍夫曼树上每一步的