word2vec理论基础

word2vec的参考文献：
https://zhuanlan.zhihu.com/p/26306795/
https://www.cnblogs.com/peghoty/p/3857839.html

笔记：
一、word2vec

1. word2vec是用来生成词向量的工具。
2. word2vec在隐藏层中的传播使向量的维度小于总词语数，所以 Word2vec 本质上是一种降维操作——把词语从 one-hot encoder 形式的表示降维到 Word2vec 形式的表示。

二、n-gram

1. n-gram模型的基本思想：作了一个n-1阶的Markov假设，认为一个词出现的概率只与它前面的n-1个词相关。一般情况下n取3，为三元模型。
   

三、机器学习模型中的一种计算词语出现概率的方法。

四、神经网络

1. 1. 这里将神经网络看作4层，包括输入层、投影层、隐藏层、输出层。
      
2. 2. Xw、Yw的计算方式：

3. 求上下文为Content(w)时下一个恰为词典D中第i个词的概率——用softmax归一化。
   

4. 总结：