深度学习NLP笔记（三）：GloVe模型

GolVe模型使用了词与词的共现信息。定义X为共现矩阵，则x_ij为词j出现在词i环境中的次数。令$x_i={\sum }_k{x}_{ik}$为任意词出现在词i环境中的次数，则：
$$P(ij)=P(j|i)=\frac{x_{ij}}{x_i}$$
　　P(ij)为词j出现在词i环境中的概率，也成为词i和词j的共现概率。
　　例如，对于语料：

• I like deep learning.
• I like NLP.
• I enjoy flying.
  可以得到共现矩阵：
  
  可以得到$P{(}^{\prime }{I}^{\prime }{,}^{\prime }lik{e}^{\prime })=\frac{2}{3}$
  那么共现概率到底有什么用呢？举一个例子。

wk	“solid”	“gas”	“water”
$p_1=P(w_k\mid "ice")$	0.00019	0.000066	0.003
$p_2=P(w_k\mid "steam")$	0.000022	0.00078	0.0022
$p_1/p_2$	8.9	0.085	1.36

从直观上我们知道，“solid”和"ice"很接近，但是和"steam"相差很远，因此 P (