Datawhale NLP课程 Task4

BERT-based Models应用模型

BertForPreTraining

BERT 预训练任务包括两个:

• Masked Language Model（MLM）：在句子中随机用[MASK]替换一部分单词，然后将句子传入 BERT 中编码每一个单词的信息，最终用[MASK]的编码信息预测该位置的正确单词，这一任务旨在训练模型根据上下文理解单词的意思；
• Next Sentence Prediction（NSP）：将句子对 A 和 B 输入 BERT，使用[CLS]的编码信息进行预测 B 是否 A 的下一句，这一任务旨在训练模型理解预测句子间的关系。

BertForSequenceClassification

这一模型用于句子分类（也可以是回归）任务，比如 GLUE benchmark 的各个任务。句子分类的输入为句子（对），输出为单个分类标签。

BertForMultipleChoice

这一模型用于多项选择，如 RocStories/SWAG 任务.

BertForTokenClassification

这一模型用于序列标注（词分类），如 NER 任务。

BertForQuestionAnswering

这一模型用于解决问答任务，例如 SQuAD 任务。

BERT训练和优化

Pre-Training

预训练阶段，除了众所周知的 15%、80% mask 比例，有一个值得注意的地方就是参数共享。 不止 BERT，所有 huggingface 实现的 PLM 的 word embedding 和 masked language model 的预测权重在初始化过程中都是共享的：

Fine-Tuning

优化器：AdamW
Warmup:在训练初期使用较小的学习率（从 0 开始），在一定步数（比如 1000 步）内逐渐提高到正常大小（比如上面的 2e-5），避免模型过早进入局部最优而过拟合；

Reference

https://github.com/datawhalechina/Learn-NLP-with-Transformers