详解 GloVe 的原理和应用

前面我们学习了 word2vec 的两种训练模型：CBOW 和 Skip-Gram，这两种都是通过一个神经网络学习出单词的词向量，今天我们来学习另外一个学习词向量的模型 GloVe，全称叫 Global Vectors for Word Representation，它是一个基于全局词频统计的词表征工具，属于非监督式学习方法。

word2vec 是深度学习中比较主流的词嵌入方法，后来在 2014 年由 Stanford NLP 团队的 Jeffrey Pennington、Richard Socher、Chris Manning 在论文GloVe: Global Vectors for Word Representation 中提出了 GloVe。在论文中给出了 GloVe 和 word2vec 的对比，经过实验表明在单词类比任务中 GloVe 的效果要好于 CBOW 和 Skip-Gram，可以比 word2vec 更快地学习出更好的词向量。

GloVe 的基本思想是：

• 首先建立一个很大的单词-上下文的共现矩阵，矩阵的每个元素 $X_{ij}$ 代表每个单词 $x_i$ 在相应上下文 $x_j$ 的环境中共同出现的次数。
• 然后用共现次数计算出共现比率，并建立词向量与共现比率之间的映射关系，进而得到 GloVe 的模型函数。
• 接着建立加权平方差损失函数，再用 AdaGrad 优化算法学习出词向量 $w$、$\tilde{w}$。

接下来就详细学习一下 GloVe 的原理。

<