[GloVe]论文实现：GloVe: Global Vectors for Word Representation*

论文：GloVe: Global Vectors for Word Representation
作者：Jeffrey Pennington, Richard Socher, Christopher D. Manning
时间：2014

一、完整代码

稍后补充

二、论文解读

2.1 当前存在的两种word2vec模型

word2vec的两个主要处理方法：
1) Matrix Factorization Methods，如潜在语义分析（LSA）
2) Shallow Window-Based Methods，如CBOW和Skip-gram

     目前，这两个模型方法都存在明显的缺陷。虽然像LSA这样的方法很有效地利用了统计信息，但它们在单词类比任务上做得相对较差，这表明了一个次优的向量空间结构。像skip-gram这样的方法可能在类比任务上做得更好，但它们很少利用语料库的统计数据，因为它们训练的是单独的局部上下文窗口，而不是全局共现计数。
     而GloVe能结合两种优点，通过只训练词共现矩阵中的非零元素，而不是训练整个稀疏矩阵或大型语料库中的单个上下文窗口，有效地利用了统计信息。产生了一个具有有意义的子结构的向量空间；

2.2 GloVe的原理

2.2.1 构建词共现矩阵

     与LSA利用word和top构建词共现矩阵不同的是，GloVe利用的是word和word构建的词共现矩阵，实现原理很简单，利用Shallow Window-Based Methods 即n-gram构建词共现矩阵，接下来我们开始下一步的推导；

2.2.2 定义和推导

     首先我们定义词共现矩阵为$X$,其$X_{ij}$表示为$wor{d}_i$和$wor{d}_j$在n-gram中出现的次数；定义$X_i={\sum }_k{X}_{ik}$即所有词包含$wor{d}_i$出现的次数之和；最后定义$P_{ij}=P(j|i)=\frac{X_{ij}}{X_i}$,表示$wor{d}_j$出现在包含$wor{d}_i$的上下文出现次数的可能性；

从图中我们可以看出，虽然k在ice和steam出现的概率不高，但是两者的概率的比值根据k值都有一定的变化，再根据k为solid或者gas的结果中我们可以看出，solid大于1对应分子，gas小于1对应分母；再从water和fashion两个与solid和gas几乎无相关的词的值在1附近可以看出，该比率能更好地区分相关单词和不相关单词；

     在这里我们定义$wor{d}_i$和$wor{d}_j$这两个词的词向量为$w_i$和$w_j$,随便定义一个映射函数,包含$w_i,w_j,{\tilde{w}}_k$,不需要在意是怎么映射的；
$$F(w_i,w_j,{\tilde{w}}_k)=\frac{P_{ik}}{P_{jk}}$$然后由于向量空间本质上是线性结构，所以最自然的方法是利用向量差。即可以把$F(w_i,w_j,{\tilde{w}}_k)$转化为$F(w_i-w_j,{\tilde{w}}_k)$，即$$F(w_i-w_j,{\tilde{w}}_k)=\frac{P_{ik}}{P_{jk}}$$再可以看到减数和被减数分别代表着分子和分母，然而分子和分母之间又有一个k与他们联系起来，这里我们可以再进行转化一下，把$F(w_i-w_j,{\tilde{w}}_k)$转化为$F((w_i-w_j{)}^T{\tilde{w}}_k)$,即$$F((w_i-w_j{)}^T{\tilde{w}}_k)=\frac{P_{ik}}{P_{jk}}$$在这里就结束了吗？不！我们还给这个函数添加一个新的功能$$F((w_i-w_j{)}^T{\tilde{w}}_k)=\frac{F(w_i^T{\tilde{w}}_k)}{F(w_j^T{\tilde{w}}_k)}=\frac{P_{ik}}{P_{ik}}$$得到$$F(w_i^T{\tilde{w}}_k)=P_{ik}=\frac{X_{ik}}{X_i}$$由于需要满足这个新功能的函数只有指数函数则定义$F(x)=e^x$,则有$$w_i^T{\tilde{w}}_k=ln(\frac{X_{ik}}{X_i})=ln(X_{ik})-ln(X_i)$$从自由度的角度来解释由于公式$X_i={\sum }_k{X}_{ik}$其中$X_i$的值是否固定不影响$X_{ik}$的关系，我们可以把其看作一个常数,通过对称性，我们可以把其值表示为$$w_i^T{\tilde{w}}_k+b_i+{\tilde{b}}_k=ln(X_{ik})$$同时要注意到词共现矩阵肯定会出现0元素，所以我们需要进行一下优化，有$$w_i^T{\tilde{w}}_k+b_i+{\tilde{b}}_k=ln(X_{ik}+1)or{X}_{ik}=X_{ik}+1$$ 到这一步其实还有一个缺陷：会出现一些无意义的词共现程度非常大，所以我们需要加强一下出现词少的权重，减弱一下出现词多的权重；定义函数如下$$f(x)=\{\begin{array}{ll}(x/x_{max}{)}^{\alpha }& x<x_{max}\\ 1& else\end{array}$$ 在这里我们需要定义两个参数$x_{max}$和$\alpha$；

最后我们定义损失函数如下：$$J=\sum _{i,j=1}^{V}f(X_{ij})(w_i^T{\tilde{w}}_j+b_i+{\tilde{b}}_k-ln(X_{ij}){)}^2$$
一般来说我们把$x_{max}$,$\alpha$分别固定为100和0.75；

2.2.3 与其他模型的关系

其他模型一般是使用softmax进行分类，即要求$$Q_{ij}=\frac{exp(w_i^T{\tilde{w}}_j)}{{\sum }_{k=1}^{V}exp(w_i^T{\tilde{w}}_k)}$$达到最大；这样我们就可以定义其损失函数为$$J=-\sum _{i\in corpus,j\in context(i)}log(Q_{ij})=-\sum _i^V\sum _j^V{X}_{ij}log(Q_{ij})$$

不懂可以考虑一下：${\sum }_{i\in corpus,j\in context(i)}={\sum }_i{\sum }_j{X}_{ij}$ ，在这里又可以通过$P_{ij}=P(j|i)=\frac{X_{ij}}{X_i}$转化为$$J=-\sum _i^V\sum _j^V{X}_{ij}log(Q_{ij})=-\sum _i^V{X}_i\sum _j^V{P}_{ij}log(Q_{ij})$$ 其中$P_{ij}$表示$wor{d}_j$出现在包含$wor{d}_i$的上下文出现次数的可能性；${\sum }_j{P}_{ij}log(Q_{ij})$可以写为$H(P_i,Q_i)$，不同的模型主要差别显示在了这里，$P_{ij}$和$log(Q_{ij})$都有$wor{d}_j$出现在包含$wor{d}_i$的上下文出现次数的可能性的意思，则应该输出一个平方项，于此同时$log(Q_{ij})$是负数，可以把负号给去掉，则应该使其平方和尽可能的小，则可以表示为$$\hat{J}=\sum _{i,j}^V{X}_i(X_{ij}-exp(w_i^T{\tilde{w}}_j){)}^2$$为了简化计算有$$\hat{J}=\sum _{i,j}^V{X}_i(log{X}_{ij}-w_i^T{\tilde{w}}_j{)}^2$$再根据优化，减弱出现次数多的权重，加强出现次数少的权重，最后我们可以得到$$J=\sum _{i,j=1}^{V}f(X_{ij})(w_i^T{\tilde{w}}_j-ln(X_{ij}){)}^2$$

三、过程实现

稍后补充

四、整体总结

GloVe是一种新的全局对数双线性回归模型的无监督学习，在单词类比、单词相似度和命名实体识别任务上优于其他模型（2014年之前）。