一、什么是GloVe
- 模型目标:进行词的向量化表示,使得向量之间尽可能多地蕴含语义和语法的信息。
- 输入:语料库
- 输出:词向量
- 方法概述:首先基于语料库构建词的共现矩阵,然后基于共现矩阵和GloVe模型学习词向量。
二、GloVe的实现步骤
1、构建共现矩阵
设共现矩阵为
X
X
X,其元素为
X
i
,
j
\displaystyle X_{i,j}
Xi,j。
X
i
,
j
\displaystyle X_{i,j}
Xi,j的意义为:在整个语料库中,单词i和单词j共同出现在一个窗口中的次数。
举个栗子:
设有语料库:i love you but you love him i am sad
这个小小的语料库只有1个句子,涉及到7个单词:i、love、you、but、him、am、sad。
如果我们采用一个窗口宽度为5(左右长度都为2)的统计窗口,那么就有以下窗口内容:
窗口标号 | 中心词 | 窗口内容 |
---|---|---|
0 | i | i love you |
1 | love | i love you but |
2 | y | i love you but you |
3 | but | ove you but you love |
4 | you | you but you love him |
5 | love | but you love him i |
6 | him | you love him i am |
7 | i | love him i am sad |
8 | am | him i am sad |
9 | sad | i am sad |
窗口0、1长度小于5是因为中心词左侧内容少于2个,同理窗口8、9长度也小于5。
以窗口5为例说明如何构造共现矩阵:
中心词为love,语境词为but、you、him、i;则执行:
X
l
o
v
e
,
b
u
t
+
=
1
\displaystyle X_{love,but} +=1
Xlove,but+=1
X
l
o
v
e
,
y
o
u
+
=
1
\displaystyle X_{love,you} +=1
Xlove,you+=1
X
l
o
v
e
,
h
i
m
+
=
1
\displaystyle X_{love,him} +=1
Xlove,him+=1
X
l
o
v
e
,
i
+
=
1
\displaystyle X_{love,i} +=1
Xlove,i+=1
使用窗口将整个语料库遍历一遍,即可得到共现矩阵X:
2、使用GloVe模型训练词向量
(1)模型怎么来的
- 矩阵单词i那一行的和:
X i = ∑ j N X i , j \displaystyle X_{i} =\sum ^{N}_{j} X_{i,j} Xi=j∑NXi,j - 条件概率,表示单词k出现在单词i语境中的概率:
P i , k = X i , k X i \displaystyle P_{i,k} =\frac{X_{i,k}}{X_{i}} Pi,k=XiXi,k - 两个条件概率的比率:
r a t i o i , j , k = P i , k P j , k \displaystyle ratio_{i,j,k} =\frac{P_{i,k}}{P_{j,k}} ratioi,j,k=Pj,kPi,k
作者发现,ratioi,j,k这个指标是有规律的,规律统计在下表:
r a t i o i , j , k \displaystyle ratio_{i,j,k} ratioi,j,k的值 | 单词 j , i j,i j,i 相关 | 单词 j , i j,i j,i 不相关 |
---|---|---|
单词 i , j i,j i,j 相关 | 趋近1 | 很大 |
单词 i , j i,j i,j 不相关 | 很小 | 趋近1 |
思想:假设已经得到了词向量,如果用词向量
v
i
\displaystyle v_{i}
vi、
v
j
\displaystyle v_{j}
vj、
v
k
\displaystyle v_{k}
vk通过某种函数计算
r
a
t
i
o
i
,
j
,
k
\displaystyle ratio_{i,j,k}
ratioi,j,k,能够同样得到这样的规律的话,就意味着我们词向量与共现矩阵具有很好的一致性,也就说明词向量中蕴含了共现矩阵中所蕴含的信息。
设用词向量
v
i
\displaystyle v_{i}
vi、
v
j
\displaystyle v_{j}
vj、
v
k
\displaystyle v_{k}
vk计算
r
a
t
i
o
i
,
j
,
k
\displaystyle ratio_{i,j,k}
ratioi,j,k的函数为
g
(
v
i
,
v
j
,
v
k
)
\displaystyle g( v_{i} ,v_{j} ,v_{k})
g(vi,vj,vk)(先不去管具体的函数形式),那么应该有:
P
i
,
k
P
j
,
k
=
r
a
t
i
o
i
,
j
,
k
=
g
(
v
i
,
v
j
,
v
k
)
\displaystyle\frac{P_{i,k}}{P_{j,k}}=ratio_{i,j,k} =g( v_{i} ,v_{j} ,v_{k})
Pj,kPi,k=ratioi,j,k=g(vi,vj,vk)
即:
P
i
,
k
P
j
,
k
=
g
(
v
i
,
v
j
,
v
k
)
\displaystyle\frac{P_{i,k}}{P_{j,k}} =g( v_{i} ,v_{j} ,v_{k})
Pj,kPi,k=g(vi,vj,vk)
r
a
t
i
o
i
,
j
,
k
\displaystyle ratio_{i,j,k}
ratioi,j,k越趋向于1,表示单词以k为中心词时i,j越相关。则
P
i
,
k
\displaystyle P_{i,k}
Pi,k,
P
j
,
k
\displaystyle P_{j,k}
Pj,k越接近。
(2)损失函数
由上面推到很容易想到用二者的差方来作为代价函数:
J
=
∑
i
,
j
N
f
(
X
i
,
j
)
(
v
i
T
v
j
+
b
i
+
b
j
−
l
o
g
(
X
i
,
j
)
)
2
\displaystyle J=\sum ^{N}_{i,j} f( X_{i,j})\left( v^{T}_{i} v_{j} +b_{i} +b_{j} -log( X_{i,j})\right)^{2}
J=i,j∑Nf(Xi,j)(viTvj+bi+bj−log(Xi,j))2
但是仔细一看,模型中包含3个单词,这就意味着要在N∗N∗N的复杂度上进行计算,太复杂了,最好能再简单点。
作者的脑洞是这样的,仔细思考
g
(
v
i
,
v
j
,
v
k
)
\displaystyle g( v_{i} ,v_{j} ,v_{k})
g(vi,vj,vk):
- 要考虑单词 i i i和单词 j j j之间的关系,那 g ( v i , v j , v k ) \displaystyle g( v_{i} ,v_{j} ,v_{k}) g(vi,vj,vk)中大概要有这么一项吧: v i − v j \displaystyle v_{i} -v_{j} vi−vj;嗯,合理,在线性空间中考察两个向量的相似性,不失线性地考察,那么 v i − v j \displaystyle v_{i} -v_{j} vi−vj大概是个合理的选择;
- r a t i o i , j , k \displaystyle ratio_{i,j,k} ratioi,j,k是个标量,那么 g ( v i , v j , v k ) \displaystyle g( v_{i} ,v_{j} ,v_{k}) g(vi,vj,vk)最后应该是个标量,因为其输入都是向量,所以內积应该是合理的选择,于是应该有这么一项吧: ( v i − v j ) T v k \displaystyle ( v_{i} -v_{j})^{T} v_{k} (vi−vj)Tvk。
- 然后作者又往
(
v
i
−
v
j
)
T
v
k
\displaystyle ( v_{i} -v_{j})^{T} v_{k}
(vi−vj)Tvk的外面套了一层指数运算
e
x
p
(
)
exp()
exp(),得到最终的
g
(
v
i
,
v
j
,
v
k
)
=
e
x
p
(
(
v
i
−
v
j
)
T
v
k
)
\displaystyle g( v_{i} ,v_{j} ,v_{k})=exp\left(( v_{i} -v_{j})^{T} v_{k}\right)
g(vi,vj,vk)=exp((vi−vj)Tvk);
最关键的第3步,为什么套了一层exp()?
套上之后,我们的目标是让以下公式尽可能地成立:
P i , k P j , k = g ( v i , v j , v k ) \displaystyle\frac{P_{i,k}}{P_{j,k}} =g( v_{i} ,v_{j} ,v_{k}) Pj,kPi,k=g(vi,vj,vk)
即:
P i , k P j , k = e x p ( ( v i − v j ) T v k ) \displaystyle\frac{P_{i,k}}{P_{j,k}}=exp\left(( v_{i} -v_{j})^{T} v_{k}\right) Pj,kPi,k=exp((vi−vj)Tvk)
即:
P i , k P j , k = e x p ( v i T v k ) e x p ( v j T v k ) \displaystyle\frac{P_{i,k}}{P_{j,k}}= \frac{exp\left( v^{T}_{i} v_{k}\right)}{exp\left( v^{T}_{j} v_{k}\right)} Pj,kPi,k=exp(vjTvk)exp(viTvk)
然后就发现找到简化方法了:只需要让上式分子对应相等,分母对应相等,即:
P i , k = e x p ( v i T v k ) \displaystyle P_{i,k} =exp\left( v^{T}_{i} v_{k}\right) Pi,k=exp(viTvk)
P j , k = e x p ( v j T v k ) \displaystyle P_{j,k} =exp\left( v^{T}_{j} v_{k}\right) Pj,k=exp(vjTvk)
然而分子分母形式相同,就可以把两者统一考虑了,即:
P i , j = e x p ( v i T v j ) \displaystyle P_{i,j} =exp\left( v^{T}_{i} v_{j}\right) Pi,j=exp(viTvj)
本来我们追求:
P i , k P j , k = g ( v i , v j , v k ) \displaystyle\frac{P_{i,k}}{P_{j,k}} =g( v_{i} ,v_{j} ,v_{k}) Pj,kPi,k=g(vi,vj,vk)
现在只需要追求:
P i , j = e x p ( v i T v j ) \displaystyle P_{i,j} =exp\left( v^{T}_{i} v_{j}\right) Pi,j=exp(viTvj)
两边取个对数:
l o g ( P i , j ) = v i T v j \displaystyle log( P_{i,j}) =v^{T}_{i} v_{j} log(Pi,j)=viTvj
那么损失函数就可以简化为:
J = ∑ i , j N ( v i T v j − l o g ( P i , j ) ) 2 \displaystyle J=\sum ^{N}_{i,j}\left( v^{T}_{i} v_{j} -log( P_{i,j})\right)^{2} J=i,j∑N(viTvj−log(Pi,j))2
现在只需要在 N ∗ N N∗N N∗N的复杂度上进行计算,而不是 N ∗ N ∗ N N∗N∗N N∗N∗N,现在关于为什么外面套一层 e x p ( ) exp() exp()就清楚了,正是因为套了一层 e x p ( ) exp() exp(),才使得差形式变成商形式,进而等式两边分子分母对应相等,进而简化模型。
然而,出了点问题。仔细看这两个式子:
l o g ( P i , j ) \displaystyle log( P_{i,j}) log(Pi,j) 不等于 l o g ( P j , i ) \displaystyle log( P_{j,i}) log(Pj,i)但是 v i T v j \displaystyle v^{T}_{i} v_{j} viTvj等于 v j T v i \displaystyle v^{T}_{j} v_{i} vjTvi;即等式左侧不具有对称性,但是右侧具有对称性。
l o g ( P i , j ) = v i T v j 和 l o g ( P j , i ) = v j T v i \displaystyle log( P_{i,j}) =v^{T}_{i} v_{j} 和log( P_{j,i}) =v^{T}_{j} v_{i} log(Pi,j)=viTvj和log(Pj,i)=vjTvi
数学上出了问题。
补救一下好了。
先将代价函数中的条件概率展开:
l o g ( P i , j ) = v i T v j \displaystyle log( P_{i,j}) =v^{T}_{i} v_{j} log(Pi,j)=viTvj
因为:
P i , k = X i , k X i \displaystyle P_{i,k} =\frac{X_{i,k}}{X_{i}} Pi,k=XiXi,k
所以展开为:
l o g ( X i , j ) − l o g ( X i ) = v i T v j \displaystyle log( X_{i,j}) -log( X_{i}) =v^{T}_{i} v_{j} log(Xi,j)−log(Xi)=viTvj
将其变为:
l o g ( X i , j ) = v i T v j + b i + b j \displaystyle log( X_{i,j}) =v^{T}_{i} v_{j} +b_{i} +b_{j} log(Xi,j)=viTvj+bi+bj
即添了一个偏差项 b j b_{j} bj,并将 l o g ( X i , j ) log( X_{i,j}) log(Xi,j)吸收到偏差项 b i b_{i} bi中。
于是代价函数就变成了:
J = ( v i T v j + b i + b j − l o g ( X i , j ) ) 2 \displaystyle J=\left( v^{T}_{i} v_{j} +b_{i} +b_{j} -log( X_{i,j})\right)^{2} J=(viTvj+bi+bj−log(Xi,j))2
然后基于出现频率越高的词对儿权重应该越大的原则,在代价函数中添加权重项,于是代价函数进一步完善:
J = ∑ i , j N f ( X i , j ) ( v i T v j + b i + b j − l o g ( X i , j ) ) 2 \displaystyle J=\sum ^{N}_{i,j} f( X_{i,j})\left( v^{T}_{i} v_{j} +b_{i} +b_{j} -log( X_{i,j})\right)^{2} J=i,j∑Nf(Xi,j)(viTvj+bi+bj−log(Xi,j))2
具体权重函数应该是怎么样的呢?
首先应该是非减的,其次当词频过高时,权重不应过分增大,作者通过实验确定权重函数为:
这个函数图像如下所示:
接下来就是通过最小化损失函数,求得参数 v i , v j , b i , b j v_{i},v_{j},b_{i},b_{j} vi,vj,bi,bj。
3、训练GloVe模型
虽然很多人声称GloVe是一种无监督(unsupervised learing)的学习方式(因为它确实不需要人工标注label),但其实它还是有label的,这个label就是以上公式中的
l
o
g
(
X
i
,
j
)
\displaystyle log( X_{i,j})
log(Xi,j),而公式中的向量
v
i
,
v
j
v_{i},v_{j}
vi,vj就是要不断更新/学习的参数,所以本质上它的训练方式跟监督学习的训练方法没什么不一样,都是基于梯度下降的。
具体地,这篇论文里的实验是这么做的:采用了AdaGrad的梯度下降算法,对矩阵
X
X
X中的所有非零元素进行随机采样,学习曲率(learning rate)设为0.05,在vector size小于300的情况下迭代了50次,其他大小的vectors上迭代了100次,直至收敛。最终学习得到的是两个vector是
v
i
,
v
j
v_{i},v_{j}
vi,vj,因为 X 是对称的(symmetric),所以从原理上讲
v
i
,
v
j
v_{i},v_{j}
vi,vj是也是对称的,他们唯一的区别是初始化的值不一样,而导致最终的值不一样。
所以这两者其实是等价的,都可以当成最终的结果来使用。但是为了提高鲁棒性,我们最终会选择两者之和
v
i
+
v
j
v_{i}+v_{j}
vi+vj作为最终的vector(两者的初始化不同相当于加了不同的随机噪声,所以能提高鲁棒性)。在训练了400亿个token组成的语料后,得到的实验结果如下图所示:
这个图一共采用了三个指标:语义准确度,语法准确度以及总体准确度。那么我们不难发现Vector Dimension在300时能达到最佳,而context Windows size大致在6到10之间。
4、GloVe与LSA、Word2Vec的比较
LSA(Latent Semantic Analysis)是一种比较早的count-based的词向量表征工具,它也是基于co-occurance matrix的,只不过采用了基于奇异值分解(SVD)的矩阵分解技术对大矩阵进行降维,而我们知道SVD的复杂度是很高的,所以它的计算代价比较大。还有一点是它对所有单词的统计权重都是一致的。而这些缺点在GloVe中被一一克服了。
而word2vec最大的缺点则是没有充分利用所有的语料,所以GloVe其实是把两者的优点结合了起来。从这篇论文给出的实验结果来看,GloVe的性能是远超LSA和word2vec的,但网上也有人说GloVe和word2vec实际表现其实差不多。
参考文献:
1、四步理解GloVe!(附代码实现):https://blog.csdn.net/weixin_41510260/article/details/100049700
2、理解GloVe模型:https://blog.csdn.net/coderTC/article/details/73864097