python glove训练模型_NLP.TM | GloVe模型及其Python实现

在进行自然语言处理中，需要对文章的中的语义进行分析，于是迫切需要一些模型去描述词汇的含义，很多人可能都知道word2vector算法，诚然，word2vector是一个非常优秀的算法，并且被广泛运用，为人们熟知，然而，从结果的优劣性来看，其实word2vector并非唯一的优秀方案，斯坦福大学提出的GloVe就是其中之一。今天我来为大家介绍一下GloVe模型，但是重点，还是放在实现上。

简单地说一下原理

这里的原理我主要参考了两篇博客，感谢两位优秀的博主。

前者会比较通俗，后者则比较深刻。

共现关系

和word2vector不同，GloVe更倾向于进行分析前后语境之间的共现关系，通过共现关系抽象出词向量。

所谓的共现，共同出现，其实就是看一个词有没有在另一个词的附近出现，所谓的附近，其实就是一个移动窗口的概念，定义窗口的半径(从中心词到边缘的距离)后，看看方圆多少范围内出现词的个数，就是共现，现在看看例子。

假设语料库就只有下面一行：

i love you but you love him i am sad

设半径为2，于是移动窗口的滑动就有下面的形式：

以窗口5为例，此处就可以认为，love分别和but, you, him, i共同出现了一次，通过这种方式去计数，就能知道任意两个词之间的共现关系(一般是可逆的)，构成共现矩阵X，一般地，X是一个对称矩阵。

词向量的产生

首先，模型的损失函数