【深度学习】Word2Vec知识点——概述01

 1.Word2Vec词向量 

          Word2Vec是使用浅层神经网络学习单词嵌入的最流行技术之一。

          Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型，它被大量地用在自然语言处理（NLP）中。

          Word2Vec 是一个将单词转换成向量形式的工具，Word2Vec就是通过学习文本来用词向量的方式表征词的语义信息，即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。

          Word2Vec计算的是余弦值 (cosine)，距离范围为0–1之间，值越大代表两个词关联度越高。

          Word2Vec主要包括两个模型: CBOW和skip-gram. 

                CBOW和skip-gram.都是利用人工神经网络作为它们的分类算法。起初每个单词都是一个随机 N 维向量。经过训练之后，该算法利用 CBOW 或者 Skip-gram 的方法获得了每个单词的最优向量。训练过程如下图所示：

                                               

      CBOW的目标是根据上下文来预测当前词语的概率，且上下文所有的词对当前词出现概率的影响的权重是一样的，因此叫continuous bag-of-words模型。如在袋子中取词，取出数量足够的词就可以了，至于取出的先后顺序是无关紧要的。

     Skip-gram的目标刚好相反：根据当前词语来预测上下文的概率。

2.Word2Vec高效训练的方法：negative sampling 和 hierarchical softmax;

        negative sampling （负采样）可以优化目标，即对每个训练样本的训练只会更新一小部分的模型权重，从而降低计算负担，而且还可以提高训练的词向量的质量。

        通常来说，我们在训练一个神经网络的时候，意味着要输入训练样本并且不断调整神经元的权重，从而不断提高对目标的准确预测。每当神经网络经过一个训练样本的训练，它的权重就会进行一次调整。负采样（negative sampling）解决了不断调整神经元权重的问题，它是用来提高训练速度并且改善所得到词向量的质量的一种方法。不同于原本每个训练样本更新所有的权重，负采样每次让一个训练样本仅仅更新一小部分的权重，这样就会降低梯度下降过程中的计算量。

        如果想仔细查看并学习负采样和hierarchical softmax的知识看这2篇博客https://www.cnblogs.com/pinard/p/7249903.html     https://www.cnblogs.com/pinard/p/7243513.html

        hierarchical softmax（分层Softmax）该方法主要有2个改进点：

            （1） 对于从输入层到隐藏层的映射，没有采取神经网络的线性变换加激活函数的方法，而是采用简单的对所有输入词向量求和并取平均的方法。

                        比如输入的是三个4维词向量：(1,2,3,4),(9,6,11,8),(5,10,7,12)(1,2,3,4),(9,6,11,8),(5,10,7,12),那么我们word2vec映射后的词向量就是(5,6,7,8)。这里是从多个词向量变成了一个词向量。

            （2）从隐藏层到输出的softmax层对其计算量进行改进。为了避免要计算所有词的softmax概率，word2vec采样了霍夫曼树来代替从隐藏层到输出softmax层的映射。