自然语言处理学习 - Word2vec基础数学篇


  • 预备知识
  1. sigmoid函数、逻辑回归、Bayes公式
  2. Huffman树& Huffman编码、 统计语言模型、n-gram模型(词出现概率与前面固定数目词相关)
  3. 神经概率语言模型(利用词向量,利用神经网络构造F)、与n-gram模型的对比优势(输入层到投影层累加非首位拼接、无隐藏层、输出层为树形结构非线性)
  4. 词向量的理解(与One-hot的区别,One-hot维度太高,不能表示相似性)、基于Hierarchial Softmax的模型CBOW(Continuous Bag-of-Words model) & Skip-gram (Continuous skip-gram model)、对比神经概率语言模型与CBOW模型
  5. 梯度计算(随机梯度上升)求最大概率值推导、最终得到Xw、q、g、e、θ, CBOW伪代码 & Skip-gram伪代码
  6. 基于Negative Sampling 的模型:CBOW (Continuous Bag-of-Words model) & Skip-gram (Continuous skip-gram model)



数学推导对应上方6点

  • 1) sigmoid函数、逻辑回归、Bayes公式


  • 2) Huffman树 & Huffman编码、 统计语言模型、n-gram模型(词出现概率与前面固定数目词相关)




  • 3) 神经概率语言模型(利用词向量,利用神经网络构造F)、与n-gram模型的对比优势(输入层到投影层累加非首位拼接、无隐藏层、输出层为树形结构非线性)


  • 4) 词向量的理解(与One-hot的区别,One-hot维度太高,不能表示相似性)、基于Hierarchial Softmax的模型:CBOW(Continuous Bag-of-Words model) & Skip-gram (Continuous skip-gram model)、对比神经概率语言模型与CBOW模型


  • 5) 梯度计算(随机梯度上升)求最大概率值推导、最终得到Xw、q、g、e、θ, CBOW伪代码 & Skip-gram伪代码

  • 6) 基于Negative Sampling 的模型CBOW (Continuous Bag-of-Words model) & Skip-gram (Continuous skip-gram model)

# 后期应该补上 Word2vec的源码解读:


阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭