NLP基础（六）：GLOVE和FastText

1.GLOVE

Word2vec只关注局部，没有考虑全文语言特征。因此引出使用全局统计信息的GLOVE（Global Vectors for Word Representation），融入全局的先验统计信息，可以加快模型的训练速度，又可以控制词的相对权重。

现分别计算在ice和steam出现的情况下solid、gas、water、fashion出现的概率，如下表所示

Probability and Ratio	k=solid	k=gas	k=water	k=fashion
p(k|ice)	$1.9\times 10^{-4}$	$6.6\times 10^{-5}$	$3.0\times 10^{-3}$	$1.7\times 10^{-5}$
p(k|steam)	$2.2\times 10^{-5}$	$7.8\times 10^{-4}$	$2.2\times 10^{-3}$	$1.8\times 10^{-5}$
p(k|ice)/p(k|steam)	$8.9$	$8.5\times 10^{-2}$	$1.36$	$0.96$

从数据中可看出
1）k=water时，k与单词ice和steam均相关且 p(k|ice)/p(k|steam) 接近1
2）k=solid时，k与单词ice相关但与steam不相关且 p(k|ice)/p(k|steam) 很大
3）k=gas时，k与单词ice不相关但与steam相关且 p(k|ice)/p(k|steam) 很小
4）k=fashion时，k与单词ice和steam均不相关且 p(k|ice)/p(k|steam) 接近1

p(k|i)/p(k|j)的值	单词j,k相关	单词j,k不相关
单词i,k相关	接近1	很大
单词i,k不相关	很小	接近1

假设$X$为共现词频矩阵 $N\times N$，$N$为词的个数。$x_{ij}$表示词$i,j$在文本中的共现词频。单词k出现在单词i语境中的概率，即条件概率$P_{ij}=\frac{x_{ij}}{x_i}$。因此得到 两个调条件概率的比率$rati{o}_{i,j,k}=\frac{P_{ik}}{P_{jk}}$。构造以下函数：
$$F(w_i,w_j,{\tilde{w}}_k)=\frac{P_{ik}}{P_{jk}}$$

为了更好的表示两个比例的差值关系，可得：
$$F(w_i-w_j,{\tilde{w}}_k)=\frac{P_{ik}}{P_{jk}}$$

由于右侧是标量，左侧是两个向量，于是可以将左侧的两个向量转换为内积形式：
$$F((w_i-w_j{)}^T{\tilde{w}}_k)=\frac{P_{ik}}{P_{jk}}$$

为了让减法转换成乘法，假设F为指数函数，因此得：
$$F((w_i-w_j{)}^T{\tilde{w}}_k)=\frac{F(w_i^T{\tilde{w}}_k)}{F(w_j^T{\tilde{w}}_k)}=\frac{P_{ik}}{P_{jk}}$$

然后有：
$$F(w_i^T{\tilde{w}}_k)=P_{ik}=\frac{X_{ik}}{X_i}$$

令F=xep，于是有：
$$w_i^T{\tilde{w}}_k=log(X_{ik})-log(X_i)$$

由于$log(X_i)$和$k$是独立的，于是增加bias term$b_i$和$b_k$：
$$w_i^T{\tilde{w}}_k+b_i+b_k=log(X_{ik})$$

基于代价函数$J={\sum }_{I,j=1}^{V}f(X_{ij})(w_i^T{\tilde{w}}_k+b_i+b_k-log(X_{ik}){)}^2$求解词向量$w_i^T和{\tilde{w}}_k$，与word2vec只是用中心词作为词向量不同的是，最后Glove的词向量生成使用一个词的中心词和背景词的词向量之和作为该词的词向量。其中词频重要性：

$$f(x)=\{\begin{array}{l}(x/x_{max}{)}^{\alpha }ifx<x_{max}\\ 1otherwise\end{array}$$

参数取值$x_{max}=100，\alpha =0.75$

2.FastText

2017facebook提出的FastText可以在大型语料库上非常快速地完成任务。FastText的模型结构与CBOW相似，不同之处是FastText的输入是词向量（embedding），将各输入加和平均并预测标签而CBOW预测的是中间词，即模型架构相似但是模型的任务不同。

参考资料
[1]GloVe详解