Word2Vec之外的词向量训练方法(fastText，Glove)

fastText

在Word2Vec训练词向量时忽略了英文单词单复数以及时态的变化。“dog”和“dogs”表示不同的单词但是具有相同的词根。我们在背单词的时候也会注意到，具有相同词根的单词在词义上会比较接近。而在Word2Vec的训练中，我们忽略了这些，将不同单词的单复数以及时态当作了不同的单词进行处理。

基于Word2Vec存在的以上问题，fastText提出了子词替换的概念，在Word2Vec的skip-gram模型中考虑进了构词信息，fastText在训练的时候会将每个中心词表示为子词的集合。

fastText采用基于字符的n-gram来划分子词。意思就是从原有单词中提取出长度大于1且小于等于n的子词。比如对于单词where来说，划分后得到的**<wh, whe, her, ere, re>,当然还需要附带上一个额外的子词即<where>**本身。

在fastText训练过程中，将中心词$w$长度在3-6的子词集合记为$G_w$，fastText的词典时所有词的子词的并集。如果假设词的词向量为$z_g$，那么$w$的词向量$v_w$的表示为：
$$v_w=\sum _{g\in G_w}{z}_g$$
和Word2Vec相比，fastText的优势在于：

• 考虑到了构词规律，使得相同词根的词比较接近
• 对生僻词比较友好

Glove

对于Word2Vec的skip-gram模型来说，条件概率$P(w_j|w_i)$的值为$q_{ij}$：
$$q_{ij}=\frac{\exp ({\mathbf{u}}_j^{\top }{\mathbf{v}}_i)}{{\sum }_{k\in \mathcal{V}}\text{exp}({\mathbf{u}}_k^{\top }{\mathbf{v}}_i)}$$
其中$v$指的是中心词向量，$u$指的是背景词向量，$\mathcal{V}$是词典索引集。

因此skip-gram想要最大化的是
$$\sum _{i\in \mathcal{V}}\sum _{j\in \mathcal{V}}{p}_{ij}log{q}_{ij}$$
但其实一个词在词典里不止出现一次，因此上式正确表示应该为
$$\sum _{i\in \mathcal{V}}{x}_i\sum _{j\in \mathcal{V}}{p}_{ij}log{q}_{ij}$$
$x_i$是词$w_i$在词典内出现的次数

上式在实际中存在的问题有：

• 计算开销太大
• 交叉熵损失对生僻词不友好

因此Glove模型对上述Word2Vec做出了如下的改变：

• 采用了平方损失，公式如下

$$l=(log{x}_{ij}-logexp(u_j^T{v}_i))=(u_j^T{v}_i-log{x}_{xj})$$

• 为**每个词$w_i$**增加了两个模型参数：中心词偏差项$b_i$和背景词偏差项$c_i$
• 为每个损失项添加一个权重

$$L=\sum _{i\in \mathcal{V}}\sum _{j\in \mathcal{V}}h(x_{ij}){\left({\mathbf{u}}_j^{\top }{\mathbf{v}}_i+b_i+c_j-\log x_{ij}\right)}^2$$

权重函数$h(x)$的一个建议选择是：当$x<c$时（如$c=100$），令$h(x)=(x/c{)}^{\alpha }$（如$\alpha =0.75$），反之令$h(x)=1$。因为$h(0)=0$，所以对于$x_{ij}=0$的平方损失项可以直接忽略。

相比于Word2Vec，Glove的优势在于：

• 中心词向量和背景词向量等价
• Glove使用中心词向量和背景词向量之和作为最终词向量

参考链接：https://github.com/ShusenTang/Dive-into-DL-PyTorch