深度学习--词嵌入方法：GloVe和BERT详解

GloVe

1. 概念

GloVe（Global Vectors for Word Representation）是一种静态词嵌入方法，用于将词汇表示为固定长度的向量。它是由斯坦福大学的研究人员在2014年提出的，用于捕捉单词之间的语义关系并表示为向量空间中的点。

2. 作用

GloVe的主要作用是将单词转换为稠密的向量表示，这些向量可以捕捉到单词之间的语义相似性和关系。这些词向量可以在各种自然语言处理（NLP）任务中用作特征，例如文本分类、情感分析、机器翻译、命名实体识别等。

3. 原理

GloVe的核心思想是通过统计全局共现信息来学习词嵌入。具体步骤如下：

• 共现矩阵: GloVe基于词在一个大规模语料库中的共现信息构建词共现矩阵。矩阵的每个元素表示特定词对在固定窗口内同时出现的频率。

• 

• 结果: 通过优化上述目标函数，GloVe生成每个单词的向量表示，这些向量能够很好地捕捉词与词之间的线性关系。

4. 区别

• 静态词嵌入: GloVe生成的词向量是静态的，即每个词在所有上下文中都有相同的向量表示。例如，单词“bank”在“river bank”（河岸）和“financial bank”（银行）中具有相同的表示，这可能无法捕捉多义词的语义差异。

BERT

1. 概念

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，由谷歌研究团队在2018年提出。BERT是一个上下文相关的模型，能够生成依赖于上下文的词嵌入。

2. 作用

BERT的主要作用是为自然语言理解任务（如文本分类、问答系统、命名实体识别、文本蕴涵等）提供强大的词嵌入和模型表示。BERT通过预训练过程学习广泛的语言表示，并且可以通过微调（fine-tuning）在特定任务上进一步提升性能。

3. 原理

BERT的原理基于Transformer架构，尤其是其编码器部分。BERT在构建中有几个关键步骤：

• 预训练任务:

  • 掩码语言模型（Masked Language Model, MLM）: BERT通过随机遮掩输入序列中的部分单词并预测这些单词来进行预训练。通过这种方式，BERT可以学习每个单词的上下文表示。
  • 下一句预测（Next Sentence Prediction, NSP）: BERT还通过预测一对句子是否为连续句子来学习句子级别的关系。

• 双向注意力机制: BERT使用双向（双向）Transformer，能够同时考虑左边和右边的上下文来生成每个单词的表示。这与传统的单向模型（如GPT）形成对比。

• 微调: 预训练完成后，BERT模型可以通过微调（即在特定任务上进行额外的训练）适应各种NLP任务。

4. 区别

• 上下文相关嵌入: BERT生成的词嵌入是上下文相关的，即同一个词在不同上下文中会有不同的向量表示。例如，“bank”在“river bank”和“financial bank”中将有不同的表示，能够更好地捕捉词的多义性。

• Transformer架构: BERT基于Transformer架构，而GloVe是基于共现统计。这使得BERT能够更好地捕捉长距离依赖和复杂的语义关系。

• 预训练和微调: BERT在大规模语料库上进行预训练，然后可以通过微调应用于各种任务。GloVe没有这种预训练-微调的设计，它是直接用来生成固定的词嵌入。

总结

• GloVe 是一种静态的词嵌入方法，基于全局共现统计，适用于需要固定词向量的任务。它简单、计算效率高，但无法处理多义词和上下文依赖性。

• BERT 是一种上下文相关的语言模型，基于Transformer架构，能够生成依赖于上下文的词嵌入。它更为复杂和强大，适用于需要深入理解语义和上下文的任务。

GloVe适合于需要快速生成词向量的任务，而BERT则适合那些需要处理复杂语言结构和上下文的任务。