NLP基础（六）：GLOVE和FastText

1.GLOVE

Word2vec只关注局部，没有考虑全文语言特征。因此引出使用全局统计信息的GLOVE（Global Vectors for Word Representation），融入全局的先验统计信息，可以加快模型的训练速度，又可以控制词的相对权重。

现分别计算在ice和steam出现的情况下solid、gas、water、fashion出现的概率，如下表所示

Probability and Ratio	k=solid	k=gas	k=water	k=fashion
p(k|ice)	$1.9\times 10^{-4}$	$6.6\times 10^{-5}$	$3.0\times 10^{-3}$	$1.7\times 10^{-5}$
p(k|steam)	$2.2\times 10^{-5}$	$7.8\times 10^{-4}$	$2.2\times 10^{-3}$	$1.8\times 10^{-5}$
p(k|ice)/p(k|steam)	$8.9$	$8.5\times 10^{-2}$	$1.36$	$0.96$

从数据中可看出
1）k=water时，k与单词ice和steam均相关且 p(k|ice)/p(k|steam) 接近1
2）k=solid时，k与单词ice相关但与steam不相关且 p(k|ice)/p(k|steam) 很大
3）k=gas时，k与单词ice不相关但与steam相关且 p(k|ice)/p(k|steam) 很小
4）k=fashion时，k与单词ice和steam均不相关且 p(k|ice)/p(k|steam) 接近1

p(k|i)/p(k|j)的值	单词j,k相关	单词j,k不相关
单词i,k相关	接近1	很大
单词i,k不相关	很小	接近1

假设$X$为共现词频矩阵 $N\times N$，$N$为词的个数。$x_{ij}$表示词$i,j$在文本中的共现词频。单词k出现在单词i语境中的概率，即条件概率$P_{ij}=\frac{}{x_i}$