[论文研读]非对称统计词向量(GloVe)

简述

相对于Skip-gram来讲，主要区别在于 1、非对称的中心词与上下文向量表示 2、统计信息的利用(体现在偏置上) 3、目标函数 softmax->最小二乘法

文章全名：GloVe: Global Vectors for Word Representation

细节

文章推导过程非常细，值得学习，但中心只有一个，就是目标函数

带帽子的是上下文，不带帽子的是中心词，Xij为共现次数，f(Xij)是权重，w为向量，b为偏置，对共现次数做非线性映射，保证单调增长的前提下，拉高非高频共现对的权重。

指数文中取3/4

偏置来源于Xij/Xi的非对称转换，即文章的初衷，统计信息的利用。

讨论

文章认为GloVe好于Skip-gram，原因是使用了统计信息，但我觉得更重要的，应该是非对称表示，CDSSM论文中对DSSM的改进之一也是用不同的网络生成Query和Document的向量，但论文没有给出对称表示和非以称表示的对比。