Skip-Gram

Skip-Gram是一种词嵌入模型，模型的结构如下所示：

该模型是根据中心词计算上下文词，概率为
每一个单词有两个词向量，一个是作为中心词时的向量，一个是作为上下文词时的向量，公式中v是作为中心词时候的向量，u是作为上下文词时的向量。该概率的分子是中心词与某一个词的相似度，分母是中心词与字典中所有词的相似度的和。
用softmax的原因是，有的内积为负数，但是概率不可能为负数，所以用指数，让所有的概率为正，softmax放大了大概率(max），依然给小的输出一定的概率（soft)。

Skip-Gram的代价函数：

为什么下面的目标方程除以T： 为了减少字典的大小的影响

要训练的参数：

每个单词都两个词向量