论文笔记--RoBERTa: A Robustly Optimized BERT Pretraining Approach

最新推荐文章于 2023-12-09 20:42:11 发布
最新推荐文章于 2023-12-09 20:42:11 发布
阅读量268 收藏
点赞数 1
分类专栏： 论文阅读 文章标签： 论文阅读 bert 语言模型 nlp 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/130654779
版权

论文笔记--RoBERTa: A Robustly Optimized BERT Pretraining Approach

1. 文章简介

  • 标题：RoBERTa: A Robustly Optimized BERT Pretraining Approach
  • 作者：Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer†, Veselin Stoyanov
  • 日期：2019
  • 期刊：arxiv preprint

2. 文章导读

2.1 概括

  文章提出了RoBERTa(Robustly optimized BERT approach)模型，从名字也可以看出RoBERTa是在BERT[1]基础上进行的优化。文章进行了大量的消融、增强实验，进一步验证了通过调节超参数、增加数据量、微调训练目标，Bert在下游任务的表现可以得到大幅提升。相比于BERT，文章主要优化点在于

  • 训练的模型参数量更多，数据更多
  • 移除NSP训练目标
  • 在更长的句子上进行训练
  • 在训练数据上进行动态掩码
      RoBERTa在NLA、QA、SST等任务上达到了SOTA水平。

2.2 文章重点技术

2.2.1 模型架构的优化

  RoBERTa的基本架构和BERT相同，超参数也基本采用BERT原文的超参数，除了warmup步数(w)和peak learning rate(peak lr)。所谓warm up，即模型训练最开始的时候一般不稳定，所以令学习率lr很小，尤其是针对test数据集上损失较高的情况可采用warm up策略，防止基于mini-batch的训练过早的过拟合。在一段时间后模型的lr会趋于稳定达到peak lr然后再下降。再次下降是因为模型平稳之后不希望再被mini-batch的数据影响太多。BERT原文采用的w为10000步，peak lr为1e-4，而RoBERTa（large）采用w为30K，peak lr为4e-4。除此之外，RoBERTa选择Adam的 β 2 = 0.98 \beta_2=0.98 β2​=0.98，当batch size比较大的时候更加稳定。
  BERT在数值实验中为了提升效率选择90%的情况下使用句子长度为128，然后在剩余的10%步骤上训练长度为512的句子从而学习到位置编码。RoBERTa则在整个过程中都采用max length=512。

2.2.2 数据集的增强

  文章认为预训练的数据集越大，下游任务表现越好（已在其它论文中被证实）。据此，文章尽可能地搜集更多数据进行预训练。文章从五个不同领域的英语语料库中收集共计160GB的数据集，包括

  • BooksCorpus和英文维基百科（同BERT原文），共计16GB
  • CC-NEWS，文章从CommonCrawl数据集中收集了其中的英文数据，包含在2016~2019年的63Million英文新闻，过滤之后共计76GB
  • OpenWebText，来自WebText语料库的开源数据集（同GPT-1[2]），共计38GB
  • STORIES，来自CommonCrawl数据库的一部分被转换成故事风格的预料，共计31GB

2.2.3 掩码方法的优化

  BERT原文采用的掩码策略为：先随机选出词表中的15%token，80%的概率用"[MASK]"替换这些token，10%的可能保持不变，10%的可能随机用其它token替换当前token。但这种方式是静态的（Static）。为了避免每个epoch模型采用相同的掩码，文章提出1) 静态掩码策略（static masking）：将训练数据复制10份，每个句子都采用10次不同的mask，这样40epochs之后，每个句子都有4次相同的mask。2) 动态掩码策略（dynamic masking）：每个句子每次用于训练时均生成不同的mask。
  文章比较了static、dynamic和BERT原文掩码在SQuAD，MNLI-m和SST-2上面的表现，发现动态掩码策略可以提升模型的F1-表现，故RoBERTa采用动态掩码策略，具体结果见下表
masking-result

2.2.4 训练目标的调整

  BERT原文采用了MLM（Masked Language Model）和NSP(Next Sentence Prediction)两种任务进行预训练，为了测试这两种训练目标对模型表现的影响，文章采用了下述训练方案

  • Segment-pair+NSP：采用NSP损失。每个输入都是一对文本，每个文本可能包含多个自然语句，总长度不超过512。
  • Sentence-pair+NSP：采用NSP损失。每个输入都是一对句子，一般来说每个句子的长度远小于512，从而在该实验中增加了batch size以保证每次训练的token数和其它任务相近。
  • Full-Sentences：不采用NSP损失。每个输入都是从一个或者多个文档中连续采样的完整句子，满足总长度不超过512。如果当前采样到某文档的结尾，但句子总长度低于512，则从其它文档基于采样句子增加至当前文档，两个文档之间用特殊分隔符表示。
  • Doc-Sentences：不采用NSP损失。类似Full-Sentences，只是不跨越文档。但不跨越文档就会导致部分采用的文本长度低于512，为此我们动态提升batch size从而满足每次训练的token数和其它任务相近。
      对上述几种训练方式对数值实验结果进行比较，下表可以看到不采用NSP损失的Doc-Sentences表现最好，故RoBERTa选择采用Doc-Sentences训练方式。
    objective-result

2.2.5 Batch size的提升

  BERT BASE 采用batch size =256，训练了1M步。为了验证Batch size的影响，我们试验了batch size=2K，step=125K和batch size=8K，step=31K的情况（ 1 M ∗ 256 ≈ 2 K ∗ 125 K ≈ 8 K ∗ 31 K 1M*256\approx 2K*125K\approx 8K*31K 1M∗256≈2K∗125K≈8K∗31K）。实验效果如下表。可以看到batch size为8K时，模型的困惑度(ppl)最高，且准确率也有提升，故RoBERTa采用batch size为8K。
batchsize-result

2.2.6 编码方式的修改

  原始BERT采用的是基于字符的BPE编码。参考GPT-2[3]中的编码方式，文章选择用基于字节的编码方式(byte-level BPE)对文本进行编码。

综上，我们将采用了上述优化策略的模型称为RoBERTa(Robustly optimized BERT approach)

3. 文章亮点

  文章通过大量数值试验证明，BERT仍有很多优化的空间，包括超参数的调节、数据量的增加和训练目标的调整等。RoBERTa在包括QA、SST、NLI等下游任务中达到了SOTA表现。同样，未来也可以通过增强数据和模型参数量等方式对RoBERTa进行进一步的优化。

4. 原文传送门

RoBERTa: A Robustly Optimized BERT Pretraining Approach

5. References

[1] 论文笔记–BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
[2] 论文笔记–Improving Language Understanding by Generative Pre-Training
[3] 论文笔记–Language Models are Unsupervised Multitask Learners

Isawany
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
论文阅读RoBERTa: A Robustly Optimized BERT Pretraining Approach
rotation博客
11-02 2911
论文信息 题目 RoBERTa: A Robustly Optimized BERT Pretraining Approach 一个强力优化的BERT预训练方法 作者 Yinhan Liu，Myle Ott，Naman Goyal， Jingfei Du等 其他 论文下载地址：https://arxiv.org/abs/1907.11692?context=cs.CL Abstract 这篇论文更像是一篇丰富的实验报告，作者发现BERT严重训练不足，若加大训练后，BERT性能会有很大的提升。 因此，作者从
RoBERTa: A Robustly Optimized BERT Pretraining Approach（通篇翻译）
myl1992的专栏
05-29 846
RoBERTa：一种稳健优化的BERT预训练方法 Yinhan Liu ∗ § Myle Ott ∗§ Naman Goyal ∗§ Jingfei Du ∗§ Mandar Joshi † Danqi Chen § Omer Levy § Mike Lewis § Luke Zettlemoyer †§ Veselin Stoyanov § † Paul G. Allen School of Computer Science & Engineering, University of Washing
Dropout详解：Dropout解决过拟合问题
机器学习深度学习业余选手
01-02 1646
Dropout详解：Dropout解决过拟合问题
《RoBERTa:A Robustly Optimized BERT Pretraining Approach》论文笔记
XHHP
11-10 686
一、摘要 预训练模型在语言模型中起到了很大的作用，但是训练成本很高。并且很多预训练模型都是使用不同大小的私有数据集进行训练，超参数的选择也会直接对结果产生影响。 本文提出的模型仔细考虑了许多关键超参数和训练集大小的影响。 本文发现Bert模型没有充分得到训练，但是仍然可以超过其他模型的效果。 二、介绍 本文是基于Bert模型提出了RoBERTa模型。主要改进有以下四个方面： 使用更多的批量、更多的数据训练更长的时间 移除了Bert模型中next sentence prediction objecti
经典论文阅读（5）——RoBERTa
fmf1287的博客
12-13 613
RoBERTa相较于BERT：(1)训练模型的时间更长，批量更大，数据更多;(2)移除下一句预测目标;(3)长序列训练;(4)动态改变应用于训练数据的mask模式。 训练过程分析 使用与相同配置的模型（L=12，H=768，A=12，110M参数）。 静态mask和动态mask 静态mask：为了避免每个epoch的mask模式相同，将训练数据复制10次，每个序列在40个epoch有10个不同的mask模式。 动态mask：BERT在数据预处理时执行一次mask，使用静态mask。动...
polish-roberta:RoBERTa波兰语模型
05-04
波兰RoBERTa 该存储库包含针对波兰语的经过预训练的模型，以及针对几种波兰语语言任务的评估代码。 使用波兰华沙国家信息处理研究所的对发布的模型进行了训练。 我们提供了两种基于BERT基本架构和BERT大型架构的...
bert-stable-fine-tuning:关于微调BERT的稳定性
03-21
关于微调BERT的稳定性：误解，解释和强大的基准 Marius Mosbach，Maksym Andriushchenko，...我们分析了GLUE基准测试的三个常用数据集上的BERT，RoBERTa和ALBERT，并表明观察到的不稳定性是由导致梯度消失的优化困
谷歌师兄的leetcode刷题笔记-Long-texts-Sentiment-Analysis-RoBERTa:PyTorch在小数据集上使用
06-30
谷歌师兄的leetcode刷题笔记长文本-情感分析-RoBERTa PyTorch 使用基于小数据集的预训练多语言 RoBERTa 模型 (XLM-R) 对用塞尔维亚语（未充分利用的语言）编写的长文本（电影评论）进行情感分析。 数据集 数据集是...
Chinese-BERT-wwm：汉语BERT的全字掩蔽预训练（EnglishBERT-wwm系列模型）
02-03
为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及更多技术相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL...
Getting-Started-with-Google-BERT:Packt发行的Google BERT入门
05-22
Google BERT入门 这是Packt发布的《 的代码库。... 随着您的前进，您将了解BERT的不同变体，例如ALBERT，RoBERTa和ELECTRA，并查看SpanBERT，它用于NLP任务（如问题解答）。 您还将介绍基于知识提炼的更简单，
《RoBERTa: A Robustly Optimized BERT Pretraining Approach》论文笔记
weixin_43646592的博客
08-15 493
 论文来源： 2019 发在arXiv上  论文链接：https://arxiv.org/abs/1907.11692v1   ????主要内容  现有的一些预训练模型在NLP领域取得了不错的成绩，但是要确定哪些方面对模型性能的提升贡献最大是困难的。毕竟这些模型训练成本比较高，调优麻烦。且我们在训练的时候通常是在不同大小的私有数据集上进行的，限制了对模型效果的评测。  所以该篇论文主要就是重新对BERT模型进行了研究及调整，提出了一种改价方法来训练BERT模型，称为RoBERTa。细致地评估了其中的关键超参
论文阅读——RoBERTa
weixin_43575791的博客
10-27 478
最初的BERT实现使用大小为30K的字符级BPE词汇表，该词汇表是在使用启发式标记化规则对输入进行预处理后学习的。RoBERTa使用包含50K子词单元的较大字节级BPE词汇表来训练BERT，而无需对输入进行任何额外的预处理或标记化。一、LM效果好但是各种方法之间细致比较有挑战性，因为训练耗费资源多、并且在私有的不同大小的数据集上训练，不同超参数选择对结果影响很大。使用复制研究的方法对BERT预训练的超参数和数据集的影响细致研究，发现BERT训练不够，提出训练BERT的方法RoBERTa。
文献阅读笔记:RoBERTa：A Robustly Optimized BERT Pretraining Approach
ljp1919的专栏
09-09 1万+
0. 背景 机构：Facebook & 华盛顿大学 作者：Yinhan Liu 、Myle Ott 发布地方：arxiv 论文地址：https://arxiv.org/abs/1907.11692 论文代码：https://github.com/pytorch/fairseq 1. 介绍 RoBERTa 模型是BERT 的改进版(从其名字来看，A Robustly Optimized BE...
[RoBERTa]论文实现：RoBERTa: A Robustly Optimized BERT Pretraining Approach
最新发布
bigcrab的博客
12-09 1154
RoBERTa只是对transformer的一种探索，结果是模型越大效果越好；
【深度学习】RoBERTa模型详解和实践
热门推荐
海贼王的博客
01-07 1万+
RoBERTa模型详解和实践 Robustly optimized BERT approach. 内容介绍： RoBERTa改进思路和原文详解 bert4keras工具使用 基于RoBERTa的2020语言与智能技术竞赛-阅读理解任务实战 代码：基于RoBERTa的2020语言与智能技术竞赛-阅读理解任务实战(Colab需翻墙) 工具：bert4keras 论文：https://arxiv.org/pdf/1907.11692.pdf CLUE阅读理解排行榜：https://www.cluebenc
[ NLP ] 自然语言处理必读论文及预训练模型（2019.10.28更）
CallMeYunzi的博客
06-26 4055
【 Albert 】 ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS 论文链接：https://arxiv.org/pdf/1909.11942.pdf GitHub：https://github.com/brightmart/albert_zh 【 SpanBERT 】 Sp...
《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach
MyHeartWillGoOn
09-27 607
BERT模型存在缺点，有可改进的点通过实验的SOTA证明，该想法可行就像作者在开头说的那样，“训练的计算成本很高，通常在不同大小的私有数据集上完成”，所有作为一个普通的研究者很难对其内部的一些细节进行验证，包括超参数调整「batch_size, epoch等」，以及BERT模型中的任务对整个模型效果的贡献。因此我们能做的就是用好RoBERTa，把它的模型优点发挥到最大！
论文阅读——RoBERTa A Robustly Optimized BERT Pretraining Approach
qq_43658933的博客
03-17 1550
RoBERTa A Robustly Optimized BERT Pretraining Approach Abstract Devlin等人在 BERT Pre-training of Deep Bidirectional Transformers for Language Understanding 提出的BERT预训练研究虽然已达到最优结果，但 训练成本比较高，很难彻底得到训练 训练的时候通常是在不同大小的私有数据集上进行训练的，很难判断具体哪个部分对结果有促进作用 所以，作者重新衡量了关键参数
推荐10篇学习chatgpt的论文
03-23
很高兴为您提供关于学习ChatGPT的10篇论文推荐： 1. "Language Models are Few-Shot Learners" by Tom B. Brown et al. 2. "GPT-2: Language Generation and Comprehension" by Alec Radford et al. 3. "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" by Jacob Devlin et al. 4. "XLNet: Generalized Autoregressive Pretraining for Language Understanding" by Zhilin Yang et al. 5. "RoBERTa: A Robustly Optimized BERT Pretraining Approach" by Yinhan Liu et al. 6. "T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer" by Colin Raffel et al. 7. "UniLM: Unified Language Model Pre-training" by Li Dong et al. 8. "ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators" by Kevin Clark et al. 9. "CTRL: A Conditional Transformer Language Model for Controllable Generation" by Nitish Shirish Keskar et al. 10. "Reformer: The Efficient Transformer" by Nikita Kitaev et al. 希望这些论文能够帮助您更好地了解ChatGPT的学习。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值