深度学习语言模型(1)-word2vec的发展历程

详细参考:https://blog.csdn.net/itplus/article/details/37969519,讲得比较细
目录:
深度学习语言模型(1)-word2vec的发展历程
深度学习语言模型(2)-词向量，神经概率网络模型(keras版本)
深度学习语言模型(3)-word2vec负采样(Negative Sampling) 模型(keras版本)

一.概率语言模型
比方有下面一句话：
“我今天打篮球”
经过分词以后有:我，今天，打，篮球
那么对于这样的一个句子，出现概率P(S)可以表示为:
P(S) = P(我)*P(今天|我)*P(打|我，今天)*P(篮球|我，今天，打)
也就是说每个词都依赖于前面的词。
这样就会有一个问题:
1.当一个常的句子出现，都依赖于前面那么多词，导致计算量过大
2.因为词和词之间都有多种可能组成方式，导致数据过于稀疏
3.数据过于稀疏，也导致了参数过多

回想一下，如果一个很长的句子，那么第1000个词会依赖于第一个词吗？这种可能性很小啊，所以这里提出了使用
N_gram，也就是说当前的词只依赖于前面N-1个词。比如这里为N=2，则只依赖于前面一个词
则"我今天打篮球"经过分词2_gram就变成:
P(S) = P(我)P(今天|我)*P(打|今天)*P(篮球|打)，这样是不是好很多，也就是说如果N变大，那么参数模型的数量和计算量跟着更大。

虽然有了N_Gram能稍微解决了参数和计算量过大问题，但还是存在很多的缺陷。再回过头来看一下语言模型，语言模型的本质其实就是词的组成，词的编码可以使用one-hot，但是one-hot存在很多缺陷:
1.有多少词就有多少编号，导致数据过于稀疏
2.词和词之间没有什么联系
为了解决one-hot的问题，怎么把一个词转换成更有意义的向量，就有了词向量这个概念。

二.词向量
(1)词向量就是说使用一个固定的维度的向量，去表示所有的词，如下图就是使用一个2维的向量去表示，会发现属性相近，意思相近的词会会靠得更近，它们的距离也就越短。

不同的语言，经过训练的词向量，也会发现它们的分布也会变得很像,左边为英语，右边为西班牙语:

(2)那么词向量是如何得来的呢？其实是对一个语言模型训练后得到的。那么一个语言模型一般分两种情况：
1.CBOW（continuous Bag-of-Words Model）,根据上下文，预测当前词语出现概率的模型）
2.Skip-gram，根据当前词预测上下文
CBOW和Skip-gram刚好相反
(3)那么一个语言模型的训练数据是如何定义的？
1.CBOW
输入的上下文，即w(t-2),w(t-1),w(t+1)w(t+2),然后经过神经网络，输出当前值，即w(t）
训练的时候是,要根据windows的滑动窗口的值，比如说windows_size=2（即左边两个，右边两个）
比如有句子:“我今天打篮球”，则有
输入x=[0,0,今天,打],label=我;0表示填充，然后继续滑动
输入x=[0,我,打,篮球],label=今天;然后继续滑动
…
输入x=[今天,打,0,0],label=篮球;
2.Skip-gram
和CBOW相反

三.词向量的训练3种方式(都采用CBOW的数据):
1.神经概率网络模型(2003年)，步骤如下:
（1）输入层，将每一个词都使用随机的100维向量表示
（2）投影层，将一个上下文的词拼接起来，比如滑动窗口是3，则有(batch_size,6,100)
（3）隐藏层，就是一个全连接层，比如(100,1024)
（4）输出层，使用softmax分类器，类别就是所有词的id,比如现在有50000个词，则，输出层(1024,50000)
在反向传播过程中，不仅更新输出层，隐藏层的权重，还要更新投影层中的x,即词相对应的100维向量。
优点:
（1）即使两个句子出现的次数由很大悬殊，但相似的句子会几乎被同等对待，比如"我今天打篮球"和"我今天打羽毛球"。但还是由点差别，差别来自于两句子中的篮球和羽毛球出现不等，因为在训练过程中训练篮球时，羽毛球的label=0，在训练羽毛球时，篮球的label=0，所以会收到次数的影响，如果不想受到次数的影响，则可以采用将在训练篮球的时候，羽毛球的label=1,训练羽毛球的时候，篮球的label=1。或者采用下述的两种训练方式，在训练充足的情况下差距会变小。
缺点:
（1）如果词的量过大，后面的输出层权重参数过多，导致内存不足

2.word2vec（Hierarchical Softmax）模型
（1）输入层，将每一个词都使用随机的100维向量表示
（2）投影层，将一个上下文的词拼接起来，比如滑动窗口是3，则有(batch_size,6,100),然后累加，变成(batch_size,100)
（3）Hierarchical Softmax层，即分层思想，即采用多次二分类来代替多分类(其实这个在SVM多分类中也有用)。这里的分类器根据词语的词频构造Huffman树，经常出现的词语
路径就越短，编码也就越短，比如下图中的"足球",编码为1001，也就是说它只需要进行4次2分类，然后概率累乘，利用交叉熵求向上梯度，然后树的每个判断节点都相当于输出层，所以每个节点(100,2)个参数。
之前在投影层的时候是将词向量都相加了，那么在反向传播的时候是将每个词向量都+上投影层累加后词向量w的梯度。
优点:
(1)相对于神经概率网络模型来说，没有隐藏层
(2)相对于神经概率网络模型来说，输出层只计算和更新相对应的词的权重参数，而不是更新整个输出层，比如上述"足球",只用计算和训练
1001节点的权重参数，也就4*(100,2)个权重参数
缺点:
(1)如果词语的数量过于庞大，还是存在计算复杂度很高的问题
3.word2vec （Negative Sampling）模型，是对Hierarchical Softmax的改善
（1）输入层，将每一个词都使用随机的100维向量表示
（2）投影层，将一个上下文的词拼接起来，比如滑动窗口是3，则有(batch_size,6,100),然后累加，变成(batch_size,100)
（3）输出层，还是采用二分类的思想，就是说当前词为正例，不是当前词的全部为反例，那么负样本的构成为从所有词语中随机获取(也不是随机，还是依据词频随机)，然后输出层
的大小依旧是(100,50000)，但是重要重要的是，在计算和训练的时候，只会使用需要计算和训练出现的词，因为50000个神经元都对应的是一个词的概率。所以这边只会抽出正例词
和负例词相应的神经元进行训练，比如1个正例+16个负例，则输出层只会拿（100，17）进行2分类训练。