lockhou的博客

最后一点，在神经网络模型中，如”the”、”a”等频繁词会降低训练的速度以及损害训练结果准确性，为了解决这个问题，引入了欠采样技术，技术原理很简单，就是以某个随机的概率舍弃词典中的词，越频繁的词被舍弃的概率越大，因此，在不改变词频排列顺序的前提下，大大减小了频繁词与非频繁词的比例，从而突出了非频繁词，训练结果更加准确，训练的速度也更快。假设词表中共有n个词，将所有单词排序后，每个单词都会有一个位置信息，则对于单词[公式]，可以使用n维向量来表示，其中向量的第i分量的值为1，其余值为0，向量记为[0,0,….

这篇论文详细地推导和解释了word2vec模型的参数更新公式，包括：CBOW（continuous bag-of-word）模型和SG（skip-gram）模型，以及两种参数优化技术：hierarchical softmax 和 negative sampling.