论文笔记 | RoBERTa: A Robustly Optimized BERT Pretraining Approach

---

作者：刘锁阵
单位：燕山大学

---

论文地址：https://arxiv.org/abs/1907.11692
代码地址：https://github.com/pytorch/fairseq

背景介绍

因为在预训练过程中，超参数的选择往往对实验结果有着举足轻重的作用。论文作者在仔细地衡量了各种超参数和训练数据集大小对实验的影响后，提出了RoBERTa：一种鲁棒优化的 BERT 预训练方法。该模型在在GLUE、RACE、SQuAD达到了SOTA。

实验环境

实现：
使用FAIRSEQ来重新实现了BERT。大部分优化超参数和原始的BERT实现相同，除了峰值学习率和warmup steps的数量。作者还发现实验对Adam算法中$ϵ$项非常敏感。类似地，还发现当训练更大的batch size时，设置${\beta }_2=0.98$能提高稳定性。
序列长度最长为512个token。

数据：
5个英文语料集合，解压缩后的大小总共超过160GB：

• BookCorpus和英文维