【word2vec】负采样（Negative Sampling）

负采样（Negative Sampling） 是 Word2Vec 中的一种技术，旨在提高训练效率，特别是解决模型训练中的计算瓶颈问题。负采样常与 Skip-gram 模型一起使用，可以有效地减少每次训练时需要计算的词汇数目，从而加速训练过程。

背景

在 Skip-gram 或 CBOW 模型中，训练的目标是预测给定上下文中的目标词。为了进行这种预测，通常会用 softmax 函数计算目标词和所有词汇之间的概率分布，公式如下：

$$P(w_t|C)=\frac{e^{v_{w_t}^T{v}_{w_c}}}{{\sum }_{w^{\prime }}{e}^{v_{w^{\prime }}^T{v}_{w_c}}}$$

其中，$v_{w_t}$ 是目标词的词向量，$v_{w_c}$ 是上下文词的词向量，$w^{\prime }$ 遍历整个词汇表。

然而，随着词汇表的增大，计算这个概率分布时需要考虑整个词汇表的所有词，计算量非常庞大。因此，传统的 softmax 的计算在大规模数据集上非常低效。

负采样的思想

负采样的核心思想是：通过从词汇表中随机选择一些“负样本”来代替计算所有可能的上下文词，从而大幅度降低计算复杂度。

基本流程

1. 正样本：每次训练时，对于给定的目标词 $w_t$ 和上下文词 $w_c$，目标是将上下文词的概率最大化，这个部分就是正样本。

2. 负样本：从词汇表中随机选择一些不相关的词作为负样本。通过负样本来训练模型，使模型学习到区分正样本和负样本的能力。即，目标是使目标词与上下文词的内积较大，目标词与负样本的内积较小。

3. 损失函数：负采样采用了一个简化的 log-sigmoid 损失函数，它对于正样本和负样本分别进行处理。正样本的目标是提高它们的概率，负样本的目标是降低它们的概率。

数学公式

对于正样本 $(w_t,w_c)$ 和负样本 $(w_t,w_{\text{neg}})$，负采样的损失函数如下：

$$\mathcal{L}=-\log \sigma (v_{w_t}^T{v}_{w_c})-\sum _{i=1}^K\log \sigma (-v_{w_t}^T{v}_{w_{{\text{neg}}_i}})$$

其中：

• $\sigma (x)$ 是 sigmoid 函数，定义为：$\sigma (x)=\frac{1}{1+e^{-x}}$。
• $v_{w_t}$ 和 $v_{w_c}$ 是目标词和上下文词的词向量。
• $v_{w_{{\text{neg}}_i}}$ 是负样本词 $w_{\text{neg}}$ 的词向量。
• $K$ 是负采样的数量，通常设置为 5 到 20 个负样本。

损失函数解释

• 第一项 $-\log \sigma (v_{w_t}^T{v}_{w_c})$ 是正样本的损失，它的目标是最大化目标词 $w_t$ 和上下文词 $w_c$ 的内积，从而提高它们的相关性。
• 第二项 $-{\sum }_{i=1}^K\log \sigma (-v_{w_t}^T{v}_{w_{{\text{neg}}_i}})$ 是负样本的损失，它的目标是最小化目标词 $w_t$ 和负样本词 $w_{{\text{neg}}_i}$ 之间的内积，从而降低它们的相关性。

负采样的优点

1. 提高计算效率：
   负采样的核心优势是显著降低了每次训练时的计算量。与传统的 softmax 需要计算词汇表中每个词的概率不同，负采样只需要计算目标词和负样本的概率。因此，训练过程中只涉及 $K$ 次计算，显著加速了训练过程。

2. 有效处理大规模数据集：
   对于大规模的词汇表，负采样使得在每次训练中只需要考虑小规模的负样本，而不需要计算所有词汇的概率，这对于大规模语料库来说尤为重要。

3. 优化模型性能：
   负采样不仅能够加速训练过程，还能在某些情况下提高模型的性能。通过引入负样本，模型学会了更加准确地区分上下文词和非上下文词，从而得到更精确的词向量。

4. 内存占用少：
   负采样的实现不需要将整个词汇表的词向量都加载到内存中，而是只加载目标词和负样本的词向量，大大节省了内存占用。

负采样的缺点

1. 需要选择负样本：
   负采样的性能依赖于负样本的选择。尽管随机选择负样本可以加速训练，但选择的负样本质量会影响模型效果。若负样本选择不当，可能会导致模型无法有效学习。

2. 并不能捕捉所有语义信息：
   负采样只关心目标词和负样本之间的区别，忽略了对整个词汇表的细粒度学习，可能会错过某些细节的语义信息。

3. 损失函数的简化：
   负采样通过简化的损失函数来减少计算量，但这种简化也导致了模型在某些复杂任务中的表现不如传统的 softmax。

负采样的应用

负采样广泛应用于词嵌入学习，特别是在 Word2Vec 模型的训练中。通过使用负采样，Skip-gram 和 CBOW 模型能够更快速地训练大规模的词向量，并且生成高质量的词嵌入，广泛用于各种自然语言处理任务，如：

• 词相似度计算：使用训练得到的词向量可以计算不同词之间的相似度。
• 信息检索：通过计算查询与文档的相似度来进行信息检索。
• 推荐系统：负采样也可以用于推荐系统中，用于学习用户和物品的潜在表示。
• 机器翻译和文本生成：生成的词向量可作为机器翻译模型和生成模型的输入。

总结

负采样 是 Word2Vec 中用来加速模型训练的一种技术。它通过从词汇表中随机选择一些负样本来减少计算量，从而使模型能够在大规模数据集上高效训练。负采样在 Skip-gram 和 CBOW 模型中得到了广泛应用，是生成高质量词向量的核心技术之一。虽然负采样在计算效率上有明显优势，但它也有一定的局限性，特别是在负样本选择和细节学习方面。