零基础入门NLP_Task5_基于深度学习的文本分类2_Word2vec

Task5 基于深度学习的文本分类2

---

Author: 2tong
与传统机器学习不同，深度学习既提供特征提取功能，也可以完成分类的功能。

Word2vec基础知识

word2vec模型背后的基本思想是对出现在上下文环境里的词进行预测。对于每一条输入文本，我们选取一个上下文窗口和一个中心词，并基于这个中心词去预测窗口里其他词出现的概率。因此，word2vec模型可以方便地从新增语料中学习到新增词的向量表达，是一种高效的在线学习算法（online learning）。
word2vec的主要思路：通过单词和上下文彼此预测，对应的两个算法分别为：

• Skip-grams (SG)：预测上下文
• Continuous Bag of Words (CBOW)：预测目标单词
  另外提出两种更加高效的训练方法：
• Hierarchical softmax
• Negative sampling

1.Skip-grams(SG)

从直观上理解，Skip-Gram是给定input word来预测上下文。

2.Continuous Bag of Words (CBOW)

从直观上理解，CBOW是给定上下文，来预测input word。

3. Hierarchical softmax

为了避免要计算所有词的softmax概率，word2vec采样了霍夫曼树来代替从隐藏层到输出softmax层的映射。
霍夫曼树的建立：

• 根据标签（label）和频率建立霍夫曼树（label出现的频率越高，Huffman树的路径越短）
• Huffman树中每一叶子结点代表一个label

4.Negative sampling

提出背景

训练一个神经网络意味着要输入训练样本并且不断调整神经元的权重，从而不断提高对目标的准确预测。每当神经网络经过一个训练样本的训练，它的权重就会进行一次调整。
所以，词典的大小决定了我们的Skip-Gram神经网络将会拥有大规模的权重矩阵，所有的这些权重需要通过数以亿计的训练样本来进行调整，这是非常消耗计算资源的，并且实际中训练起来会非常慢。
为解决这个问题，提出Negative Sampling。它是用来提高训练速度并且改善所得到词向量的质量的一种方法。不同于原本每个训练样本更新所有的权重，负采样每次让一个训练样本仅仅更新一小部分的权重，这样就会降低梯度下降过程中的计算量。

Word2vec模型训练

1.参考链接

• gensim
• 论坛参考代码

2.实现代码

import logging

import numpy as np
import pandas as pd
from gensim.models.word2vec import Word2Vec

if __name__ == '__main__':