Glove词向量

1、共现概率

Glove使用了词与词之间的共现(co-occurrence)信息。假设元素Xij为词j出现在词i的环境(context)的次数。这里的”环境”有多种的定义。比如，在一段文本序列中，如果词j出现在词i左边或者右边不超过10个词的距离，我们认为词j出现在词i的环境一次。那么词j出现在词i的环境的概率，这一概率也叫做词i和词j的共现概率。如下为词j出现在词i环境的共现概率。

其中Xi=∑Xik为任意词出现在词i的环境的次数

2、共现概率比值

3、用词向量表达共现概率比值

4、损失函数

注：

这里面的最后Glove的词向量生成使用的是一个词的中心词和背景词的词向量之和作为该词的词向量，这与word2vec只是用中心词作为词向量是不同的。

参考：https://blog.csdn.net/u010995990/article/details/79424919