词向量简介

**

词向量简介

**

1.什么是词向量？

每一个词典(里面存着一堆单词，例如{one on the and of 。。。。})
用nn.embedding模块进行词嵌入 输出的就是对应的词向量。

2.什么是 nn.embedding ?

torch.nn.Embedding理解
看这个解释

3.如何训练一个词向量？

skip-gram 模型
skip-gram模型的任务是：在已知当前词的情况下，预测其上下文。

虽然这个任务并没有什么卵用，但它可以帮助我们训练一个非常好的词向量。

模型的目标函数是：在给定中心词的情况下 周围单词出现的概率希望其越大越好

然后它的概率密度是中心词和输出词向量的一个点积

点积的分数越大 两个词出现在一起的概率就越高

为什么： 点积的分数越大 两个词出现在一起的概率就越高 ？

点积表示两个向量之间的余弦距离 越大夹角越接近于0 两个向量就越相似。