词嵌入(word2vec)-NNLM（Neural Network Language Model）

1. 基本概念
   词编码
   向量空间子结构
   One-Hot
   Bag of words(词袋模型)
   TF-IDF
   语言模型
   分布式表示
   共现矩阵
2. NNLM（Neural Network Language Model）神经网络语言模型
   NNLM的基本思想
   NNLM原理
   projection layer
   SoftMax层
   hidden layer

1.基本概念

传统的机器翻译，自然语言处理多是基于规则的，现在更多的是基于模型，规则隐含的参数里。

词编码
每个词都用不同的含义，而要被机器所识别，就必须要把词进行编码，同时词编码时要保证词的相似性。图像识别的时候，对图像在RGB三个颜色通道中看他们的相似性就可以了，但是，无论中文还是英文，词都太多了，他是人造的，很难保持像图片这样的信息，所以我们希望能对词进行编码，保持它所包含的信息量。

因此，我们希望能有一个对应关系，如图，这些数字在空间中的表示能有一个对应关系。这不就是和机器学习差不多吗？很多机器学习的预测都是寻找一个对应关系，也就是数据（X）和预测的东西（Y）的对应。机器翻译其实原理也差不多。

向量空间子结构
我们希望找到这样一个关系，可以作为机器学习/深度学习的输入.

$$V_{King} -V_{Queen} + V_{Women} = V_{Man}$$ 这个有没有感觉呢？其实换成这样，你可能更好理解: $$V_{King} -V_{Queen} = V_{Man} - V_{Women}$$ 我们就是希望找到 $King,Queen$之间的差异，隐含的关系，然后通过一个dense vector表示。

One-Hot
最简单的一种想法，就是对一句话用one-hot编码:比如对于这句话：

$$John\ likes\ to\ watch\ movies ,Mary\ likes\ too.$$ $$John\ also\ likes\ to\ watch\ football\ games.$$

"John":1,"likes":2,"to":3,"watch":4,"movies":5,"also":6,