RoBERTa:更大更多更强
今天分享一个Bert的改进工作RoBERTa。RoBERTa是训练充分的Bert。
主要掌握以下几点,与Bert相比较,RoBERTa预训练的时候:
- 动态掩码:comparable or slightly better
- 去掉NSP任务并且更改数据输入格式为全部填充可以跨越多个文档
- 更多数据,更大bsz,更多的步数,更长训练时间
1. 动态掩码
首先明确Bert使用的是静态掩码。但是这样会存在一个现象,比如我训练40个epoches,那么每次epoches都是使用同一批数据。
这其实不是什么大问题,我们在深度学习训练模型的时候,每个epoches基本都没咋变过。
不过对于Bert,其实本质是一个自监督模型。每次的训练输入如果是不同的,对于模型肯定是更好的。
比如我们句子为:今天去哪里吃饭啊?
mask之后为:今天去哪里[mask]饭啊?
每次训练使用同一个mask样本,那么模型见得