《自然语言处理》—— 词嵌入（Embedding）及 Word2Vec 词嵌入方法

张小生180

已于 2024-10-07 23:24:44 修改

阅读量392

点赞数 13

文章标签：自然语言处理 embedding word2vec

于 2024-10-07 23:14:51 首次发布

本文链接：https://blog.csdn.net/weixin_73504499/article/details/142747934

版权

在了解词嵌入之前需要了解什么是独热编码（One-Hot Encoding），下面链接的文章中对其有简单点的介绍

一、词嵌入介绍

词嵌入（Embedding）是自然语言处理（NLP）中的一种技术，它将词汇或短语从词汇表映射到向量的实数空间，通常是一个高维空间。这些向量捕捉了词汇间的语义和句法关系，使得相似的词汇在向量空间中距离较近。词嵌入允许计算机以数值形式理解和处理语言，这对于训练机器学习模型来说至关重要。
如何解决独热编码（One-Hot Encoding）中维度灾难的问题？
- 通过神经网络训练，将每个词都映射到一个较短的词向量上来。

语义相似性：在向量空间中，语义相似的词汇通常会有较近的向量距离。例如，“king” 和 “queen” 的向量可能会比 “king” 和 “cat” 的向量更接近。
高维表示：词嵌入将词汇映射到高维向量空间，这使得它们能够捕捉复杂的语义关系。通常，这些向量的维度在几十到几百之间。
稀疏性解决：传统的独热编码（One-Hot Encoding）方法在处理大规模词汇表时会导致非常稀疏的向量表示，而词嵌入则通过密集向量解决了这个问题。

Word2Vec：由Google提出的词嵌入方法，包括CBOW（Continuous Bag of Words） 和 Skip-gram两种模型。这两种模型都通过预测上下文词汇来学习词汇的向量表示。
GloVe（Global Vectors for Word Representation）：利用全局词汇共现统计信息来学习词嵌入，捕捉词汇间的全局关系。
FastText：由Facebook提出，考虑了子词（subword）信息，通过字符n-gram来构建词向量，从而提高了对未登录词（OOV）的处理能力。
BERT（Bidirectional Encoder Representations from Transformers）：基于Transformer架构的预训练语言表示模型，通过双向编码来学习上下文相关的词嵌入。BERT及其变体（如RoBERTa、T5等）在NLP领域取得了巨大成功。

词嵌入在多种NLP任务中都有广泛应用，包括但不限于：

词嵌入是现代自然语言处理中的一项关键技术，它通过将词汇映射到高维向量空间来捕捉词汇间的语义和句法关系。随着深度学习技术的发展，词嵌入方法不断演进，为NLP领域带来了更多的可能性。

Word2Vec是词嵌入技术的一种具体实现方法，由谷歌的研究人员在2013年提出。它使用小型神经网络根据单词的上下文来计算单词嵌入。Word2Vec方法包含两种具体模型：连续词袋模型（CBOW） 和 Skip-gram模型。

连续词袋模型（CBOW）：
- 原理：根据上下文预测中心词。即，给定一系列上下文单词，模型试图预测这些上下文单词所对应的中心词。
- 实现：首先，将上下文单词的独热编码作为输入，通过神经网络进行训练，最终得到每个单词的词向量表示。
- 示例：
Skip-gram模型：
- 原理：根据中心词预测上下文。即，给定一个中心词，模型试图预测该中心词所对应的上下文单词。
- 实现：与CBOW模型类似，Skip-gram模型也使用独热编码作为输入，并通过神经网络进行训练。不同的是，Skip-gram模型使用中心词的词向量作为输入，并预测上下文单词的概率分布。