推荐系统学习——单图负采样 (UNS)

1.单图负采样是什么

          单图负采样，Unigram Negative Sampling (UNS)是Word2Vec中的一种负采样方法，用于在训练Skip-gram模型时选择负样本。在UNS中，负采样的概率与单词的频率有关，高频词被选为负样本的概率较大，低频词被选为负样本的概率较小。这样可以更好地平衡高频词和低频词在负采样中的权重，提高训练效果。UNS相比于传统的负采样方法，能够更有效地提高训练速度和模型性能。

2.单图负采样解决了什么问题

       解决计算效率问题：在传统的训练词向量模型中，通常需要对整个词汇表进行softmax计算，以确定目标词与上下文词的关系。这样的计算复杂度随着词汇表规模的增加而呈指数级增长，导致训练过程变得非常耗时。UNS 通过负采样的方式，显著降低了计算成本，使得训练过程更加高效。

       改善词向量的质量：UNS 通过负采样的方式，可以更好地学习词向量，特别是针对频率较低的词汇，以及更好地捕捉词汇之间的语义关系。这有助于提高词向量的质量，并且可以更好地应用于自然语言处理任务中，如文本分类、情感分析和推荐系统等。 

3.UNS计算过程

       在 UNS 中，负采样的概率与单词的频率有关。具体来说，对于一个单词 w，其被选择为负样本的概率计算如下：

                                     

       其中  代表单词  的频率， 代表词汇表的大小。这个公式中的   是为了降低高频词被选中的概率，使得低频词有更大的机会被选为负样本。

       在实际应用中，进行采样时可以根据上面的概率分布进行抽样，从而选择负样本。这样，相比于传统的负采样方法，UNS 能够更好地平衡高频词和低频词在负采样中的权重，提高模型的训练效果。