【论文学习】RoBERTa

最新推荐文章于 2023-10-27 11:29:07 发布
最新推荐文章于 2023-10-27 11:29:07 发布
阅读量292 收藏
点赞数
分类专栏： NLP 文章标签： NLP nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44815943/article/details/119736786
版权

目录

摘要

RoBERTa（A Robustly Optimized BERT Pretraining Approach）基本与BERT一致，但在以下方面做了一些细节调整：1）在更多数据上，以更大batch_size，训练更长时间；2）取消NSP任务；3）更大序列长度上训练（实际都是512，只不过数据处理上尽量选取长文本作为输入）；4）dynamic mask。

训练过程分析

dynamic mask：BERT采用的是静态mask机制，静态体现在数据处理过程，具体做法就是“现将数据复制几份，然后不同考备份的数据集合对不同位置进行mask”，数据处理完成之后就不变了。而RoBERTa采用动态mask方式，在将数据送入到模型时，才进行随机mask。两种方式对比如下：
在这里插入图片描述
从试验结果来看，动态mask似乎没起多大作用。

取消NSP：“FULL-SENTENCES”表示从一个文档或者多个文档取完整的句子组合在一起作为输入，跨越文档是添加SEP， “DOC-SENTENCES”与“FULL-SENTENCES”相似，就是不能跨越文档边界。
在这里插入图片描述

凯子要面包
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach
MyHeartWillGoOn
09-27 607
BERT模型存在缺点，有可改进的点通过实验的SOTA证明，该想法可行就像作者在开头说的那样，“训练的计算成本很高，通常在不同大小的私有数据集上完成”，所有作为一个普通的研究者很难对其内部的一些细节进行验证，包括超参数调整「batch_size, epoch等」，以及BERT模型中的任务对整个模型效果的贡献。因此我们能做的就是用好RoBERTa，把它的模型优点发挥到最大！
读论文——RoBERTa
y1040468929的博客
11-21 572
第一遍 标题：RoBERTa : A Robustly Optimized BERT Pretraining Approach 作者：Yinhan Liu Myle Ott Facebook AI 摘要： 超参数的选择对最终结果有很大的影响，本文是对BERT的一些调参的研究 结论： 通过更长时间的训练模型，用更大的批量处理更多的数据，可以显著地提高性能 移除下一个句子预测目标 对较长的序列进行训练 动态地改变应用于训练数据的掩蔽模式 重要的图和表 表1 BERTbase
roberta论文品读
小姑仔的博客
06-18 111
1.与bert相比采用了动态mask的操作 具体操作：将数据复制十份，每一份使用不同的mask方式进行遮盖 2.去除下一个句子预测的Next Sentence Prediction的操作 3.使用large batches进行训练 4.使用Text Encoding进行文本编码，这里扩充了文本编码使用字符作为权重，而不是unicode字符作为基础的子单词单元作为权重。 重难点句子 We re-establish that BERT’s masked language model training objec
《RoBERTa:A Robustly Optimized BERT Pretraining Approach》论文笔记
XHHP
11-10 684
一、摘要 预训练模型在语言模型中起到了很大的作用，但是训练成本很高。并且很多预训练模型都是使用不同大小的私有数据集进行训练，超参数的选择也会直接对结果产生影响。 本文提出的模型仔细考虑了许多关键超参数和训练集大小的影响。 本文发现Bert模型没有充分得到训练，但是仍然可以超过其他模型的效果。 二、介绍 本文是基于Bert模型提出了RoBERTa模型。主要改进有以下四个方面： 使用更多的批量、更多的数据训练更长的时间 移除了Bert模型中next sentence prediction objecti
《RoBERTa: A Robustly Optimized BERT Pretraining Approach》论文笔记
weixin_43646592的博客
08-15 492
 论文来源： 2019 发在arXiv上  论文链接：https://arxiv.org/abs/1907.11692v1   ????主要内容  现有的一些预训练模型在NLP领域取得了不错的成绩，但是要确定哪些方面对模型性能的提升贡献最大是困难的。毕竟这些模型训练成本比较高，调优麻烦。且我们在训练的时候通常是在不同大小的私有数据集上进行的，限制了对模型效果的评测。  所以该篇论文主要就是重新对BERT模型进行了研究及调整，提出了一种改价方法来训练BERT模型，称为RoBERTa。细致地评估了其中的关键超参
基于RobotStudio的带导轨工业机器人轨迹编程方法.pdf
08-12
#资源达人分享计划#
BERT论文精读及实践1
08-03
【BERT论文精读及实践1】 BERT，全称“Bidirectional Encoder ...BERT的出现是NLP领域的一个重要里程碑，它的设计理念和实现在后来的许多模型中得到了广泛应用，如ALBERT、RoBERTa等，进一步推动了预训练模型的发展。
十强选手方案_“达观杯”文本智能信息抽取挑战赛.pdf
10-19
参考文献中提到了BERT的原始论文，作者Jacob Devlin等在arXiv上发布的《Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding》（arXiv:1810.04805），以及RoBerta的相关论文，这是...
最新各领域NLP论文汇总2
10-15
BERT由Google于2018年提出，它是一种深度双向转换器，通过预训练任务在大规模无标注文本上学习通用的语言表示，然后在特定任务上进行微调。BERT的创新之处在于其引入了双向上下文，解决了以往模型只能从左向右或从右...
政治学文本分类方法的比较：政治学的转移学习语言模型-研究论文
05-19
我们发现，依赖于Transformer的语言模型RoBERTa和XLNet，需要更少的计算资源和更少的训练数据，才能与（或优于）几种政治学文本分类方法一起执行。 此外，我们发现，在小标签数据的情况下，准确性的提高尤为重要，...
论文阅读——RoBERTa
最新发布
weixin_43575791的博客
10-27 478
最初的BERT实现使用大小为30K的字符级BPE词汇表，该词汇表是在使用启发式标记化规则对输入进行预处理后学习的。RoBERTa使用包含50K子词单元的较大字节级BPE词汇表来训练BERT，而无需对输入进行任何额外的预处理或标记化。一、LM效果好但是各种方法之间细致比较有挑战性，因为训练耗费资源多、并且在私有的不同大小的数据集上训练，不同超参数选择对结果影响很大。使用复制研究的方法对BERT预训练的超参数和数据集的影响细致研究，发现BERT训练不够，提出训练BERT的方法RoBERTa。
论文阅读RoBERTa: A Robustly Optimized BERT Pretraining Approach
rotation博客
11-02 2910
论文信息 题目 RoBERTa: A Robustly Optimized BERT Pretraining Approach 一个强力优化的BERT预训练方法 作者 Yinhan Liu，Myle Ott，Naman Goyal， Jingfei Du等 其他 论文下载地址：https://arxiv.org/abs/1907.11692?context=cs.CL Abstract 这篇论文更像是一篇丰富的实验报告，作者发现BERT严重训练不足，若加大训练后，BERT性能会有很大的提升。 因此，作者从
RoBERTa 论文研读笔记
从网络到AI，从学术界到产业界，随着兴趣去逐梦
11-29 815
写在前面 这篇博客一是补课，之前DataWhale的论文阅读，我因为参与课题申报等原因，没有仔细的去研读Bert系最新的几篇论文；二来，也是为自己带的预研团队开一个头，让产学研结合能在开始是就写入这个组的骨髓。 1 研究动机 2 研究方法 3 创新点分析 4 个人点评 ...
论文阅读——RoBERTa A Robustly Optimized BERT Pretraining Approach
qq_43658933的博客
03-17 1548
RoBERTa A Robustly Optimized BERT Pretraining Approach Abstract Devlin等人在 BERT Pre-training of Deep Bidirectional Transformers for Language Understanding 提出的BERT预训练研究虽然已达到最优结果，但 训练成本比较高，很难彻底得到训练 训练的时候通常是在不同大小的私有数据集上进行训练的，很难判断具体哪个部分对结果有促进作用 所以，作者重新衡量了关键参数
[论文笔记]RoBERTa: A Robustly Optimized BERT Pretraining Approach
日积月累，天道酬勤
09-08 873
本文是RoBERTa的论文笔记。
经典论文阅读（5）——RoBERTa
fmf1287的博客
12-13 613
RoBERTa相较于BERT：(1)训练模型的时间更长，批量更大，数据更多;(2)移除下一句预测目标;(3)长序列训练;(4)动态改变应用于训练数据的mask模式。 训练过程分析 使用与相同配置的模型（L=12，H=768，A=12，110M参数）。 静态mask和动态mask 静态mask：为了避免每个epoch的mask模式相同，将训练数据复制10次，每个序列在40个epoch有10个不同的mask模式。 动态mask：BERT在数据预处理时执行一次mask，使用静态mask。动...
RoBERTa解读
fengzhou_的博客
07-02 1195
《RoBERTa: A Robustly Optimized BERT Pretraining Approach》
文献阅读笔记:RoBERTa：A Robustly Optimized BERT Pretraining Approach
热门推荐
ljp1919的专栏
09-09 1万+
0. 背景 机构：Facebook & 华盛顿大学 作者：Yinhan Liu 、Myle Ott 发布地方：arxiv 论文地址：https://arxiv.org/abs/1907.11692 论文代码：https://github.com/pytorch/fairseq 1. 介绍 RoBERTa 模型是BERT 的改进版(从其名字来看，A Robustly Optimized BE...
DynaMask: Dynamic Mask Selection for Instance Segmentation CVPR2023
wzyxgg的博客
03-31 778
采用FAM动态的将多尺度特征相加，第一层可变形卷积（deformConv1）负责调整L层的位置使L层和P层对齐，将P与上采样后的L相连接，再通过一个3x3的卷积，得到偏移图Δo，用学习到的偏移将L与P对齐，第二个可行变卷积相当于一个注意力机制，关注物体突出的部分，将FAM加到r-FPN的不同阶段，以提升mask预测效果。先利用RoI-align得到区域级的特征，再将P4-P2的特征一次加入，从tiny到large（这里认为是从P5开始做RoI-align）,Lr是r-FPN的层，Pi是i-FPN的层。
推荐10篇学习chatgpt的论文
03-23
很高兴为您提供关于学习ChatGPT的10篇论文推荐： 1. "Language Models are Few-Shot Learners" by Tom B. Brown et al. 2. "GPT-2: Language Generation and Comprehension" by Alec Radford et al. 3. "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" by Jacob Devlin et al. 4. "XLNet: Generalized Autoregressive Pretraining for Language Understanding" by Zhilin Yang et al. 5. "RoBERTa: A Robustly Optimized BERT Pretraining Approach" by Yinhan Liu et al. 6. "T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer" by Colin Raffel et al. 7. "UniLM: Unified Language Model Pre-training" by Li Dong et al. 8. "ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators" by Kevin Clark et al. 9. "CTRL: A Conditional Transformer Language Model for Controllable Generation" by Nitish Shirish Keskar et al. 10. "Reformer: The Efficient Transformer" by Nikita Kitaev et al. 希望这些论文能够帮助您更好地了解ChatGPT的学习。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值