Word2Vec之CBOW&Skip-gram

        我们之前介绍过分布假设，主要是通过上下文来构造一个共现矩阵，度量词的相似性或关联性可以在共现矩阵的基础上采用余弦相似度、Jaccard相似度、点互信息等，为了避免低频技术在统计上的不可靠性，可以对共现矩阵胡必须把矩阵奇异分解，获得矩阵更鲁棒的低阶表示后，在分解后的低阶矩阵上进行了词的表示与计算。

        分布式表示则是将每个词映射到低维空间中的连续向量，每个维度有着不明确的含义，而词的含义由其向量表示及与其他词的空间关系决定。

Word2Vec

        词向量已成为基于神经网络的自然语言处理方法的一个重要组成部分，在词向量的表示方法中，每个词被标示为一个低维向量空间（一般100~1000维）中的稠密空间使得近义词的空间表示也相近。

        Word2Vec算法包含训练词向量的两种模型CBOW和Skip-gram。前者的思想是利用上下文多个词预测一个词，后者的思想上是利用每一个词独立的预测上下文，二者大同小异

        CBOW模型首先将上下文中所有词的向量相加，然后直接和输出词的向量计算内积，再归一化到概率分布上。模型的参数由两个词向量矩阵构成——词输出向量矩阵和词输入向量矩阵，仍然利用最大似然估计准则进行优化。这种做法较前馈神经网络而言利用更简单的模型更适用于大规模的数据和大词表。

        Skip-gram模型相比前者拥有更强的独立性假设，即上下文的每个词也可以独立地被预测，模型表示如下：