GloVe 与 fasttext

glove

对于一个词 i 出现的次数为 $X_i$，在其某个窗口范围内的词 j 出现的次数为 $X_{ij}$，$X_{ij}$ 可以直接得到，$X_i$ 为所有 $X_{ij}$ 的累加和。对于 i 来说，共现矩阵要对所有 i 出现的地方计算 $X_{ij}$，最后再累加求和得到 $X_i$。共现矩阵局算的是概率值 $P_{ij}=P(j|i)=\frac{X_{ij}}{X_i}$。
j 是 在 i 的窗口内出现的，所以利用到了局部窗口信息；次数的计算利用到了所有 i 和 j 共同出现的地方，这是全局信息。

glove 词向量为什么能够表现出词的意义？
假设有 3 个词：i，j，k。

• 如果词 k 与 i 关联较大，与 j 关联较小，那么 $P_{ik}$ 较大，$P_{jk}$ 较小，$\frac{P_{ik}}{P_{jk}}$ 远大于 1；
• 如果词 k 与 i 关联较小，与 j 关联较大，那么 $P_{}$