word2vec、Glove比较

Glove

它是一个基于全局词频统计（count-based & overall statistics）的词表征（word representation）工具，它可以把一个单词表达成一个由实数组成的向量，这些向量捕捉到了单词之间一些语义特性，比如相似性（similarity）、类比性（analogy）等。我们通过对向量的运算，比如欧几里得距离或者cosine相似度，可以计算出两个单词之间的语义相似性。

word2vec vs glove

1.word2vec是局部语料库训练的，其特征提取是基于滑窗的；
而glove的滑窗是为了构建共现矩阵，是基于全局语料的，可见glove需要事先统计共现概率；因此，word2vec可以进行在线学习，glove则需要统计固定语料信息。
2.word2vec是无监督学习，同样由于不需要人工标注；
glove通常被认为是无监督学习，但实际上glove还是有label的，即共现次数
3.word2vec损失函数实质上是带权重的交叉熵，权重固定；
glove的损失函数是最小平方损失函数，权重可以做映射变换。
总体来看，glove可以被看作是更换了目标函数和权重函数的全局word2vec

参考文章
参考文章1
参考文章2