Word2Vec模型精简和本质

1. 模型框架

• CBOW模型，上下文预测中心词，目标函数为
  
• Skip-gram模型，中心词预测上下文，目标函数为
  

2. Hierarchical Softmax

借助CBOW训练模型，得到词向量

2.1 CBOW模型

• 输入层：2c个上下文context(w)的词向量
• 投影层：2c个向量求和累加
• 输出层：huffman树和sigmoid函数（一开始就将词汇建立了一个huffman树）
  
  
  从根节点到足球，共经历四次分支，每次分支可看做是一次二分类，即将一个节点进行分类，分到左边是负类，分到右边是正类。
  一个节点被分为正类的概率是（后续要优化）
  
  被分为负类的概率是
  
  $x_w^T是足球这个叶子节点的词向量表达，\Theta 是非叶节点对应的向量$
  
  最后的结果是将四次的分类相乘
  
  因此，条件概率的一般公式可以写成
  
  其中，
  
  或者写成整体表达式
  
  代入下列公式，得到
  
  
  将内核表示成
  
  上面就是CBOW模型的目标函数
  目前需要做的就是将这个函数最大化，因此使用随机梯度上升法
  
  
  
  
  霍夫曼树上每一步的