深度学习笔记之BERT(三)RoBERTa

引言

本节将介绍一种基于$\text{BERT}$改进优化的预训练方法——$\text{RoBERTa}$。

回顾：BERT的预训练策略

$\text{BERT}$的预训练策略包含两个：

• 掩码语言模型训练$(\text{Masked Language Model,MLM})$：将句子中一部分词语进行掩码标记，即使用$[\text{MASK}]$对被掩码的词语进行替换。并将掩码部分的长度控制在总句子长度的$15$%。对于一个已被预期处理的示例句子：
  $$[[\text{CLS}],Paris,is,a,beautiful,city,[\text{SEP}],I,love,Paris]$$
  掩码标记后的结果示例为：
  $$[[\text{CLS}],Paris,is,a,[\text{MASK}],city,[\text{SEP}],I,love,[\text{MASK}]]$$
  即便在$\text{BERT}$中使用80-10-10规则对$\text{BERT}$的预训练进行泛化，但实际上它依然是静态掩码：这些工作均是在数据预处理部分执行的，在训练过程中，每个$[\text{MASK}]$部分在句子中的位置是固定的。

• 下句预测$(\text{Next Sentence Prediction,NSP})$：样本集是由两个连接的文档片段$\text{Segment-1,Segment-2}$组成，并以$50$%的概率：

  • 在同一文档中连续采样；
  • 不同的文档中采样；

  并对采样结果$\text{Segment-1,Segment-2}$对应的如下格式中：
  $$[[\text{CLS}],\text{Segment-1},\text{[SEP]},\text{Segment-2},\text{[SEP]}]$$
  $[\text{CLS}]$对应的$\text{BERT}$输出${\mathcal{R}}_{\text{[CLS]}}$使用$\text{Softmax}$进行二分类(有关联/无关联)任务。

RoBERTa训练过程分析

静态掩码与动态掩码的比较

对于$\text{BERT}$这种现象，$\text{RoBERTa}$先采用复制数据的方法进行补救：

• 将一个句子复制$10$份，并将$10$个句子进行随机掩码标记：
  S 1 : [ [ CLS ] , P a r i s , i s , a , [ MASK ] , c i t y , [ SEP ] , I , l o v e , [ MASK ] ] S 2 : [ [ CLS ] , P a r i s , [ MASK ] , a , b e a u t i f u l , c i t y , [ SEP ] , I , l o v e , P a r i s ] ⋮ S 10 : [ [ CLS ] , [ MASK ] , i s , a , b e a u t i f u l , [ MASK ] , [ SEP ] , I , l o v e , P a r i s ] \begin{aligned} & \mathcal S_1:[[\text{CLS}],Paris,is,a,[\text{MASK}],city,[\text{SEP}],I,love,[\text{MASK}]] \\ & \mathcal S_2:[[\text{CLS}],Paris,[\text{MASK}],a,beautiful,city,[\text{SEP}],I,love,Paris] \\ & \quad \vdots \\ & \mathcal S_{10}:[[\text{CLS}],[\text{MASK}],is,a,beautiful,[\text{MASK}],[\text{SEP}],I,love,Paris] \end{aligned}