GloVe模型: Global Vectors for Word Representation

一、前言

• 目前学习词向量的方法主流的有两种：

  • 全局矩阵分解的方法：比如LSA，HAL，这类方法首先统计语料库中的“词-文档”或者“词-词”共现矩阵，然后通过矩阵分解的方法来获得一个低维词向量。
  • 局部上下文窗口的方法，：比如skip-gram
    
    

• 但是这两种方法都有缺点：

  • 全局矩阵分解的方法虽然利用了全局统计信息，但是他会过度重视共现词频高的单词对，然而这些词并没有多大的语义联系。
  • 局部上下文窗口的方法，没有充分利用全局统计信息。

• 这篇论文的主要思想就是结合两者的优点进行词向量学习。

二、GloVe模型

1、共现矩阵

• 根据语料库构建一个共现矩阵(Co-ocurrence Matrix)X, 矩阵中的每一个元素$X_{ij}$代表表示词$j$出现在以词 $i$为中心的窗口中的次数。并且$X$是一个对称矩阵。
• 定义几个符号与运算：$$X_i=\sum _{j=1}^N{X}_{ij}$$即$X_i$就是矩阵第i行(单词i那一行)的和.$$P_{i,k}=\frac{X_{i,k}}{X_i}$$$P_{i,k}$是一个条件概率，表示单词$k$出现在单词$i$语境中的概率.$$rati{o}_{i,j,k}=\frac{P_{i,k}}{P_{j,k}}$$$rati{o}_{i,j,k}$是两个条件概率的比率。
  
  
• 现在对$rati{o}_{i,j,k}$进行分析一下：
  • 由$P_{i,k}$公式我们知道词$i$与词$k$共现的次数越多(越相关)该值越大，反正越小。并且有$P_{i,k}\in [0,1]$
  • 所以$rati{o}_{i,j,k}$有下表规律：
    

2、损失函数：

• 上面的表格是通过词频统计运算得到的规律，我们希望我们学习到的词向量也有这种规律，也就是说词向量包含上面分析的这一规律。更具体的来说，我们希望通过对$i,j,k$三个词向量的某种运算得到$rati{o}_{i,j,k}$的值：$$rati{o}_{i,j,k}=\frac{P_{i,k}}{P_{j,k}}=g(v_i,v_j,v_k)$$函数$g$的具体形式先不用管。
• 通过上面分析我们可以得到下面的损失函数：$$J=\sum _{i,j,k}^N(\frac{P_{i,k}}{P_{j,k}}-g(v_i,v_j,v_k){)}^2$$其实质就是一个均方误差损失函数，这个损失函数的复杂度是$O(N^3),$比较大。
  
  
• 现在我们考虑函数$g$ 的具体形式：
  • 为将我们的词向量与共现矩阵$X$,联系起来，我们对每个词$w_i$都定义了两个向量，$v_i和{\hat{v}}_i$ ,他们分别于矩阵$X$的行于列相对应。
  • 假设我们用向量的内积来表示两个词的相关程度，即我们用$ v_i*\hat{v}_j$ 表示词$i$与词$j$的相关程度，那么我们就可以将$g$函数定义如下：$$g(v_i,v_j,v_k)=v_i\ast {\hat{v}}_k-v_j\ast {\hat{v}}_k$$
  • 上面公式的$g$函数是符合上面表格中中规律的。所以得到：$$\frac{P_{i,k}}{P_{j,k}}-=v_i\ast {\hat{v}}_k-v_j\ast {\hat{v}}_k$$
  • 为了降低损失函数的复杂度，我们可以将$g$函数的形式表示成分数的形式，不改变函数的性质同时化减法为除发，很容易想到使用取指数的方法：$$\frac{P_{i,k}}{P_{j,k}}=exp(v_i\ast {\hat{v}}_k-v_j\ast {\hat{v}}_k)=\frac{exp(v_i\ast {\hat{v}}_k)}{exp(v_i\ast {\hat{v}}_k)}$$
  • 上式成立，可以等价的转化为：$$P_{i,k}=exp(v_i\ast {\hat{v}}_k)$$$$P_{j,k}=exp(v_i\ast {\hat{v}}_k)$$
  • 于是我们学习词向量的目标函数：$$P_{i,j}=exp(v_i\ast {\hat{v}}_j)$$两边取个对数：$$ln(P_{i,j})=v_i\ast {\hat{v}}_j=v_i^T{\hat{v}}_j$$
  • 于是我们的损失函数变成：$$J=\sum _{i,j}^N(ln(P_{i,j})-v_i^T{v}_j{)}^2$$ 这个损失函数的复杂度是$O(N^2)$
    
    
• 进一步化解损失函数：
  • 将$P_{i,j}$表达式带入下面式子:$$ln(P_{i,j})=v_i^T{\hat{v}}_j$$得：$$ln(X_{i,j})-ln(X_i)=v_i^T{\hat{v}}_j$$
  • 并且可以得到：$$ln(X_{j,i})-ln(X_j)=v_j^T{\hat{v}}_i$$由于矩阵$X$的对称性得：$$ln(X_{j,i})=ln(X_{i,j})$$并且$ln(X_j)$相对所有其他词$i$是一个常数，同理$ln(X_i)$也相当于一个常数。而且有：$$v_i^T{\hat{v}}_j!=v_j^T{\hat{v}}_i$$他们的差值为一个常数项。我们将这些常数项进行合并得到下面式子：$$ln(X_{i,j})=v_i^T{\hat{v}}_j+b_i+b_j$$$b_i$和$b_j$是与词$i$和词$j$相关的偏置项学习得到
  • 于是我们进一步得到损失函数：$$J=\sum _{i,j}^N(v_i^T{\hat{v}}_j+b_i+b_j-ln(X_{i,j}){)}^2$$
• 们知道在一个语料库中，肯定存有些单词对他们在一起出现的次数是很多，有些单词对在一起的次数确很少。我们当然希望出现次数多的单词对更能体现出上面表格中的规律，为了达到这个目标，我们在损失函数中增大这些词的取值就ok了，于是得到下面的损失函数：$$J=\sum _{i,j}^{N}f(X_{ij})(v_i^T{\hat{v}}_j+b_i+b_j-ln(X_{i,j}){)}^2$$
• 函数$f(X_{ij})$就是权重函数。论文中使用的是下面函数：$$f(x)=\{\begin{array}{ll}(\frac{x}{x_{max}}{)}^{\alpha }& x<x_{m}ax\\ 1& 其他\end{array}$$
  
  • $x_{max}$是我们也不希望这个权重过大，为使它到达一定程度之后应该不再增加，而设置的一个最大值。
  • 如果两个单词没有在一起出现，也就是$X_{ij}=0$，那么他们应该不参与到loss function的计算当中去，也就是$f(x)$要满足$f(0)=0$
  • 这篇论文中的所有实验，$\alpha$的取值是$0.75$，而$x_{max}$取值是100。

3、模型训练过程

• 在我们经过统计得到共现矩阵$X$后，我们可以将$ln(X_{ij})$视为数据的标签。各词的向量$v_i$作为训练的参数，使用上面的损失函数。然后就是基于梯度下降进行参数学习。
• 具体地，论文中的做法是：采用了AdaGrad的梯度下降算法，对矩阵$X$中的所有非零元素进行随机采样，学习曲率（learning rate）设为0.05，在vector size小于300的情况下迭代了50次，其他大小的vectors上迭代了100次，直至收敛。
• 训练完成之和对于每个词我们都得到两个向量$v_i,{\hat{v}}_i$.因为$X$是对称的，所以从原理上讲$v_i,{\hat{v}}_i$是也是对称的，他们唯一的区别是初始化的值不一样，而导致最终的值不一样。所以这两者其实是等价的，都可以当成最终的结果来使用。但是为了提高鲁棒性，我们最终会选择两者之和$v_i+{\hat{v}}_i$作为最终的词向量，两者的初始化不同相当于加了不同的随机噪声，所以能提高鲁棒性。

参考链接

• 论文链接：https://www.aclweb.org/anthology/D14-1162
• 项目链接：https://github.com/dmlc/gluon-nlp