RoBERTa 和 BERT 的简介与对比

RoBERTa 和 BERT 是什么

一、BERT（Bidirectional Encoder Representations from Transformers）

提出背景：由谷歌于2019年提出，是自然语言处理领域的里程碑模型，基于Transformer编码器架构，通过预训练生成双向语言表示。
核心特点：

• 双向预训练：通过掩码语言模型（MLM）和下一句预测（NSP）任务，学习上下文相关的词向量。
• 多层Transformer编码器：基础版（BERT-Base）包含12层编码器，大型版（BERT-Large）包含24层编码器。
• 输入表示：融合词嵌入（Token Embedding）、段嵌入（Segment Embedding）和位置嵌入（Posit