NLP--基于深度学习的文本分类2

在上个章节中，学习通过FastText快速实现了基于深度学习的文本分类模型，但是这个模型不是最优的。在本章继续学习下一个模型。
【学习目标】

• 学习Word2Vec的使用和基础原理
• 学习使用TextCNN,TextRNN进行文本表示
• 学习使用HAN的网络结构完成文本分类

5 基于深度学习的文本分类–文本表示方法

继续学习基于深度学习的文本分类
【文本表示方法】

5.1 词向量

通过word2vec学习词向量。word2vec模型背后的基本思想是对出现在上下文环境里的词进行预测。对于每一条输入文本，我们选取一个上下文窗口和一个中心词，并基于这个中心词去预测窗口里其他词出现的概率。因此，word2vec模型可以方便地从新增语料中学习到新增此的向量表达，是一种高效的在线学习算法。
word2vec的主要思路：通过单词和上下文彼此预测，对应的两个算法分别为：

• Skip-grames(SG):预测上下文
• Continuous Bag of Words(CBOW):预测目标单词
  另外提出两种更加高效的训练方法：
• Hierarchical softmax
• Negative sampling

5.1.1 Skip-grams

1. Skip-grams原理和网络结构
   Word2Vec模型中，主要有Skip-Gram和CBOW两种模型，从直观上理解，Skip-Gram是给定input word来预测上下文。而CBOW是给定上下文，来预测input word。

Word2Vec模型实际上分为两个部分，第一部分为建立模型，第二部分是通过模型获取嵌入词向量。
Word2Vec的整个建模过程实际上与自编码器(auto-enconder)的思想很相似，即先基于训练数据构建一个神经网络，当这个模型训练好以后，并不会用这个训练好的模型处理新的任务。真正需要的是这个模型通过训练数据所学得的参数，例如：隐藏层的权重矩阵–后面会看到这些权重在Word2Vec实际上就是我们试图去学习的“word vectors”。
【Skip-grams过程】

【待续，一是这段时间有点忙，二是这篇任务有点难】