Bert的一些理解

参考链接1
参考链接2

BERT 模型的训练数据集通常是以预训练任务的形式来构建的，其中包括两个主要任务：Masked Language Model (MLM) 和 Next Sentence Prediction (NSP)。下面简要介绍这两个任务在数据集中的格式：

Masked Language Model (MLM)

• 在 MLM 中，输入文本会被处理为一组 token 序列，其中一些 token 会被随机选择并替换为特殊的 [MASK] 标记。
• 数据集中的每条样本是一个包含 [CLS] 句子 A [SEP] 句子 B [SEP] 的序列。
• 句子 A 和句子 B 可能是相邻的句子，也可能是来自不同文本的句子。
• 对于每个样本，一部分 token 会被随机选择并替换为 [MASK] 标记。
• 训练时，BERT 模型需要预测这些被遮挡的 token。

举个例子

Next Sentence Prediction (NSP)

• NSP 任务通过判断两个句子是否在原始文本中相邻来训练模型&#