LLM - Hugging Face 工程 BERT base model (uncased) 配置

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://blog.csdn.net/caroline_wendy/article/details/131400428

BERT是一个在大量英文数据上以自监督的方式预训练的变换器模型。这意味着它只是在原始文本上进行预训练，没有人以任何方式对它们进行标注（这就是为什么它可以使用大量公开可用的数据），而是用一个自动的过程来从这些文本中生成输入和标签。更准确地说，它是用两个目标进行预训练的：

• 掩码语言建模 (Masked Language Modeling，MLM) ：给定一个句子，模型随机地掩盖输入中的15%的词，然后将整个掩盖的句子通过模型，并且必须预测掩盖的词。这与传统的循环神经网络（RNN）不同，它们通常是一个接一个地看词，或者与像GPT这样的自回归模型不同，它们内部地掩盖未来的词。这使得模型能够学习句子的双向表示。
• 下一句预测 (Next Sentence Prediction，NSP)：模型在预训练期间将两个掩盖的句子作为输入拼接起来。有时它们对应于原始文本中相邻的句子，有时不是。然后模型必须预测这两个句子是否是相互跟随