GloVe: Global Vectors for Word Representation

Abstract

• 本文分析了要想让向量的算术运算对词向量有意义，模型所具备的性质
• 本文提出的模型结合了包含全局信息的因子分解和局部上下文窗口方法
• 本文提出的方法通过只在word-word共现矩阵的的非零元素上训练，从而能够更加高效的利用统计信息

Introduction

两种主要的学习词向量方法类分别是：

1. 基于全局矩阵分解的方法(如:LSA)，这些方法在word analogy任务表现较差
2. 基于局部上下文窗口的方法(如:skip-gram)，这些方法不能很好的利用语料库的全局统计信息

在本文提出一个global log-bilinear regression模型，这个模型可以在词向量上产生有意义的线性方向。我们提出了一个weighted least squares model用于在一个全局的word-word co-occurrence计数上，从而有效的利用这些统计信息。

Related Work

Matrix Factorization Methods

HAL(Hyperspace Analogue to Language)利用是一个term-term矩阵进行分解。它存在的一个问题是高频的term在相似度度量的时候起到的作用比它的真实作用要高太多了。（可以通过PPMI、词频开根号、基于熵、基于correlation等方法将词的数值分布变得均匀一些）

Shallow Window-Based Methods

这些方法都有一个缺点没有直接处理语料共现统计信息。

The GloVe Model

语料库中的词语共现信息是无监督方法学习词向量的主要信息来源。
本文将回答有意义的向量是如何从这些统计信息中得到的以及得到的词向量是如何表示这些意义的。
接下来介绍一些要用到的记号：
$X$:表示word-word co-occurrence 计数矩阵
$X_{ij}$:表示词汇j在词汇i的上下文中出现的计数
$X_i$:表示所有词汇在词汇i的上下文中出现的总数
$P_{ij}$=P(j|i)=$\frac{X_{ij}}{X_i}$

对于GloVe，主要是通过频率$P_{ik}$和$P_{jk}$的比率来确定k是与i相关还是和j相关，或者与两者都相关或都不相关
$\frac{P_{ik}}{P_{jk}} \approx 1$:k与i，j要么都相关，要么都不相关
$\frac{P_{ik}}{P_{jk}} \gt 1$: k与i更相关
$\frac{P_{ik}}{P_{jk}} \lt1$: k与j更相关

所以可以假设模型通过这个比率来区分正例和反例，即

$$F(w_i, w_j, \hat w_k)=\frac{P_{ik}}{P_{jk}}$$
其w是词向量， $\hat w$是上下文词向量
接下来通过指定F所需要的一些性质，从而减少F的范围。
由于想在向量空间中表示这种比率，而向量空间是一个线性结构，所以一个很自然的想法是把 $w_i$和 $w_j$的差作为函数输入，即 $F(w_i-w_j, \hat w_k)$
同时因为函数输入是向量，结果是标量，所以一个自然想法是函数输入转换成内积形式 $F((w_i-w_j)^T\hat w_k)$。使用点积作为输入还可以防止F使得函数的各个维度发生不必要的混淆。
接着可以引入+与 $\times$的同态来将F转换一下(同时还可以满足 $F(w_i^T \hat w_k)$与 $F(\hat w_k^T w_i))$结果一致即：
$$F((w_i-w_j)^T\hat w_k)= \frac{F(w_i^T \hat w_k)}{F(w_j^T \hat w_k)}$$
由前文可知 $F(w_i^T \hat w_k)=P_{ik}$，上一个方程的解是exp。即：
$$w_i^T\hat w_k=log(P_{ik})=log(X_{ik})-log(X_i)$$
由于 $log(x_i)$只与 $x_i$有关所以用 $b_i$来代替最后得到:
$$w_i^T\hat w_k + b_i =log(X_{ik})$$
为了具有对称性，添加一个新的偏置 $\hat b_k$得到最后的表达式：
$$w_i^T\hat w_k + b_i + \hat b_k=log(X_{ik})$$
对于上述表达是可能在 $X_{ik}=0$时出错，解决方法是通过一个加1shift，即保证了共现矩阵的稀疏性又保证了上述公式不发散。即 $log(1+X_{ik})$代替 $log(X_{ik})$

上述的方法对于所有$X_{ij}$同等看待，但是特别稀少的$X_{ij}$很可能是噪声并没有包含什么信息，如果使用上述公式同等对待会影响模型的效果。本文提出一个加权最小二乘回归来处理这个问题，其损失如下：

$$J = \mathop \sum \limits_{i,j = 1}^v f\left( {{X_{ij}}} \right){\left( {w_i^T{{\tilde w}_j} + {b_{i }} + {{\tilde b}_j} - \log {X_{ij}}} \right)^2}$$
上面的公式中权重函数f(x)要满足如下一些特性：

1. f(0)=0，且保证在x->0时$\mathop {\lim }\limits_{x \to 0} f\left( x \right){\log ^2}X$值时有限的
2. f(x)需要是一个非递减的函数，保证出现次数多的权重高
3. f(x)需要赋予特别大的x较小的值，保证出现的特别频繁的计数的比重不会过于高

一个可以作为f(x)的函数如下：
当x<$x_{max}$时：

$$f\left( x \right) = {\left( {\frac{x}{{{x_{\max }}}}} \right)^\alpha }$$
其他时候f(x)=1,其中f(x)的定义域是x>=0。

实验中取$x_{max}=100, \alpha=3/4$效果较好。

Relationship to Other Models

基于skip-gram模型的损失函数可写出如下格式：

$${Q_{ij}} = \frac{{\exp \left( {w_i^T{{\tilde w}_j}} \right)}}{{\mathop \sum \nolimits_{k = 1}^v \exp \left( {w_i^T{{\tilde w}_k}} \right)}}$$
$$J = - \sum_{i \in corpus, j \in context(i)} log{Q_{ij}}$$
然后将所有的 $Q_{ij}$合并得到
$$J = - \mathop \sum \limits_{j = 1}^v \mathop \sum \limits_{ j = 1}^v {X_{ij}}\log {Q_{ij}}$$
然后对用 $P_{ij} = \frac {X_{ij}}{X_i}$带入得到：
$$J = - \mathop \sum \limits_{i = 1}^v {X_i}\mathop \sum \limits_{j = 1}^v {P_{ij}}\log {Q_{ij}}= \mathop \sum \limits_{i=1}^v X_{i} H(P_i, Q_i)$$
其中 $H(P_i, Q_i)$表示分布 $P_i$与分布 $Q_i$的交叉熵。
由于交叉熵在长尾分布的时候的表现并不好，所以使用离散分布的平方差当作损失函数。同时为了加速计算对概率分布不进行归一化即有： $\hat P_{ij}=X_{ij}$, $\hat Q_{ij} = exp(w_i^T\tilde w_j)$从而有：
$$\hat J = \mathop \sum \nolimits_{i,j} X_i (log{\hat P_{ij}}-log{\hat Q_{ij}})^2 = \mathop \sum \nolimits_{ij}X_i(w_i^T \tilde w_j - log{X_{ij}})^2$$
由于skip-gram对数据集会进行下采用，这等效于对权重 $X_i$用一个函数了替代 $f(X_i)$,所以最后的公式如下：
$$\hat J = \mathop \sum \nolimits_{ij}f(X_{ij})(w_i^T \tilde w_j - log{X_{ij}})^2$$

Experiments

1. 对于在context里的词，这个词对的count是它们的距离分之一，即如果两个词的距离是d，则它们的count计数加$\frac {1}{d}$。
2. 有两种考虑上下文的方式，一个是只考虑左边的词语是context（asymmetric），另一种是考虑左右两边的(symmetric)。如果是对称的则网络的中$W$与$\tilde W$是等价的，我们用$W+\tilde W$作为最后的词向量矩阵能提高一点效果。
3. 当词向量的维度大于300的时候，增加vec的dim的效果就不明显了
4. 当窗口较小且采用非对称方式，词向量的语法信息较好，因为语法比较以来直接上下文，且依赖词的顺序
5. 词向量在语法上的表现随数据集的增加而增加
6. 6.