word2vec总结

相关推导：

 一些问答

Word2Vec的两个模型哪个效果好哪个速度快？为什么？

Word2Vec有两种主要的模型：Skip-gram 和 CBOW（Continuous Bag of Words）。这两种模型在效果和速度方面各有优缺点，取决于应用场景和数据集的特点。

1. Skip-gram 模型：

   • 效果：Skip-gram 模型通常在训练数据较少时表现更好，因为它能够更好地捕捉稀有词汇的上下文信息。由于它对每个词生成多个训练样本，因此能够更好地利用有限的数据来学习词向量。
   • 速度：相对来说，Skip-gram 模型的训练速度较慢，因为它需要为每个目标词生成多个上下文词的训练样本，从而增加了训练的复杂度。尤其是当词汇表很大时，训练速度可能会更慢。

2. CBOW 模型：

   • 效果：CBOW 模型通常在大规模数据集上训练速度更快，因为它只需要预测目标词汇的上下文信息，而不需要考虑多个上下文词对应的目标词汇。在高频词汇的情况下，CBOW 模型可能会表现更好。
   • 速度：相对来说，CBOW 模型的训练速度较快，因为它只需要预测目标词汇的上下文信息，而不需要为每个目标词生成多个训练样本。此外，CBOW 模型的训练样本数量通常比 Skip-gram 模型少，因此训练速度可能更快。

综上所述，Skip-gram 模型在训练数据较少时表现更好，而 CBOW 模型在大规模数据集上训练速度更快。因此，选择哪种模型取决于您的具体应用场景和训练数据的特点。

介绍下Negative Sampling，对词频低的和词频高的单词有什么影响？为什么？ 

        Negative Sampling（负采样）是一种用于加速 Word2Vec 模型训练的技术。在传统的 Skip-gram 或 CBOW 模型中，对于每个训练样本，需要计算输出层中所有词汇的 softmax 概率，这会导致计算量较大。Negative Sampling 通过将每个训练样本转化为一个正例和若干个负例的二分类问题，从而减少了计算成本。

在 Negative Sampling 中，对于每个训练样本，我们选择一个中心词和一些上下文词，将中心词与上下文词组合作为正例，并选择一些随机词作为负例。然后，我们训练模型来区分正例和负例。这样一来，对于每个训练样本，我们只需要计算一个正例的 softmax 概率和一些负例的 softmax 概率，大大减少了计算量。

Negative Sampling 对词频低的和词频高的单词有以下影响：

1. **词频低的单词**：
   - 对于词频低的单词，负采样允许我们在训练中为它们生成更多的负例。因为低频词汇的上下文信息相对稀疏，通过生成更多的负例，我们可以增加模型学习到的低频词汇的上下文信息，从而提高模型对低频词汇的表示能力。

2. **词频高的单词**：
   - 对于词频高的单词，负采样可能会减少训练中为它们生成的负例数量。因为高频词汇的上下文信息相对丰富，生成过多的负例可能会导致模型过度拟合高频词汇的上下文信息。通过减少负例数量，我们可以减少模型对高频词汇的过拟合风险，提高模型的泛化能力。

总的来说，Negative Sampling 可以通过调整负例数量来平衡低频词汇和高频词汇在模型训练中的影响，从而提高模型的训练效果。

Word2Vec 和隐狄利克雷模型（Latent Dirichlet Allocation，LDA）是两种不同的自然语言处理模型，它们有着不同的建模思想和应用场景，但也存在一些联系。

**区别：**

1. **建模思想**：
   - Word2Vec 是一种基于神经网络的词向量表示模型，其目标是学习每个词在高维向量空间中的表示，以捕捉词之间的语义关系。Word2Vec 通过训练一个神经网络来预测词的上下文或者预测词的相似性。
   - LDA 是一种基于概率图模型的主题模型，其目标是发现文档集合中的主题结构，并学习每个主题和每个词之间的分布关系。LDA 假设每个文档由多个主题组成，而每个主题又由多个词组成，通过分解文档和词的共现矩阵来进行推断。

2. **应用场景**：
   - Word2Vec 主要用于词向量表示学习和自然语言处理任务，如词义相似度计算、文本分类、命名实体识别等。
   - LDA 主要用于发现文本数据中的主题结构，以及进行主题分析、主题模型推断等任务，通常用于文本挖掘、信息检索等领域。

**联系：**

尽管 Word2Vec 和 LDA 是不同的模型，但它们在某些情况下可以互补和结合使用：

1. **词向量表示的主题分析**：
   - Word2Vec 学习的词向量可以提供词之间的语义关系，而 LDA 学习的主题结构可以提供文档中词的话题分布。通过结合两者，可以进行更细粒度的文本分析和挖掘，如在 Word2Vec 的词向量空间中探索 LDA 学习到的主题结构。

2. **文档表示**：
   - Word2Vec 可以将文档表示为文档中所有词向量的平均或加权平均，从而得到文档的向量表示。这种文档表示方式可以用于 LDA 进行主题模型的推断和分析。

尽管 Word2Vec 和 LDA 是两种不同的模型，但它们在文本挖掘和自然语言处理任务中都有着重要的作用，而且可以相互结合和补充，以提高模型的性能和应用效果。

介绍下Hierarchical Softmax的计算过程，怎么把 Huffman 放到网络中的？参数是如何更新的？对词频低的和词频高的单词有什么影响？为什么？

        Hierarchical Softmax利用了Huffman树依据词频建树，词频大的节点离根节点较近，词频低的节点离根节点较远，距离远参数数量就多，在训练的过程中，低频词的路径上的参数能够得到更多的训练，所以效果会更好。

Word2Vec有哪些参数，有没有什么调参的建议？

• Skip-Gram 的速度比CBOW慢一点，小数据集中对低频次的效果更好；

• Sub-Sampling Frequent Words可以同时提高算法的速度和精度，是一种用于训练词向量模型时的一种技术，旨在减少高频词汇对模型训练的影响，同时提高低频词汇的权重，以改善词向量的质量和性能。；

• Hierarchical Softmax对低词频的更友好；

• Negative Sampling对高词频更友好；

• 向量维度一般越高越好，但也不绝对；

• Window Size，Skip-Gram一般10左右，CBOW一般为5左右。

Word2Vec有哪些局限性？

        Word2Vec作为一个简单易用的算法，其也包含了很多局限性：

• Word2Vec只考虑到上下文信息，而忽略的全局信息；

• Word2Vec只考虑了上下文的共现性，而忽略的了彼此之间的顺序性；

参考：深入浅出Word2Vec原理解析