BERT模型解析：预训练任务与双向语言表征-CSDN博客

本文链接：https://blog.csdn.net/qq_27412807/article/details/113515808

BERT是一种预训练语言模型，利用Masked Language Model (MLM)和Next Sentence Prediction (NSP)任务生成双向语言表征。模型通过Transformer组件实现，输入由token、分割和位置embeddings组成，输出包括分类token（[CLS]）和其他token的表征。预训练任务的创新在于克服了传统单向模型的局限，提升了模型在11个NLP任务中的表现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

BERT简单介绍

BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度双向语言表征。

BERT论文发表时提及在11个NLP（Natural Language Processing，自然语言处理）任务中获得了新的state-of-the-art的结果，令人目瞪口呆。

该模型有以下主要优点：

1）采用MLM对双向的Transformers进行预训练，以生成深层的双向语言表征。

2）预训练后，只需要添加一个额外的输出层进行fine-tune，就可以在各种各样的下游任务中取得state-of-the-art的表现。在这过程中并不需要对BERT进行任务特定的结构修改。

1. BERT的结构

以往的预训练模型的结构会受到单向语言模型（从左到右或者从右到左）的限制，因而也限制了模型的表征能力，使其只能获取单方向的上下文信息。而BERT利用MLM进行预训练并且采用深层的双向Transformer组件（单向的Transformer一般被称为Transformer decoder，其每一个token（符号）只会attend到目前往左的token。而双向的Transformer则被称为Transformer encoder，其每一个token会attend到所有的token。）来构建整个模型，因此最终生成能融合左右上下文信息的深层双向语言表征。关于Transformer的详细解释可以参见transformer。

当隐藏了Transformer的详细结构后，我们就可以用一个只有输入和输出的黑盒子来表示它了：

在这里插入图片描述