负采样算法

负采样算法

CBOW中，判断上下文词（context）与目标词（target）是否为匹配的一对，如果是一对，则是正样本，如果不是一对，则是负样本.

去一段长度为1的线段，分为|V|份，每份的长度按词频的不同而有所不同。且长度的计算采用了一种“平滑”策略，能够让低频词多一些出场机会，高频词贡献一些出场机会。

在采样前，我们将这段长度为1的线段划分成M等份，这里M>>V。这样只需产生0，m1,…, $m_M$的之间的一个整数随机数，就可以采样出一个词。

word2vec 中的负采样
摘抄自： http://www.imooc.com/article/41635