百度提前批面试之-数据挖掘-负采样

负采样

什么是负采样？
负采样就是：
自然语言处理领域中，判断两个单词是不是一对上下文词(context)与目标词(target)，如果是一对，则是正样本，如果不是一对，则是负样本。

采样得到一个上下文词和一个目标词，生成一个正样本(positive example)，;生成一个负样本(negative example)，则是用与正样本相同的上下文词，再在字典中随机选择一个单词，这就是负采样(negative sampling)。

负采样的优点：

负采样这个点引入word2vec非常巧妙，两个作用：
1.加速了模型计算
2.保证了模型训练的效果，其一模型每次只需要更新采样的词的权重，不用更新所有的权重，那样会很慢，其二中心词其实只跟它周围的词有关系，位置离着很远的词没有关系，也没必要同时训练更新，作者这点非常聪明。