《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach

最新推荐文章于 2023-05-13 12:08:23 发布
最新推荐文章于 2023-05-13 12:08:23 发布
阅读量611 收藏
点赞数
分类专栏： NLP 文章标签： 论文阅读 bert 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/127066476
版权
NLP 专栏收录该内容
89 篇文章 50 订阅 ¥29.90 ¥99.00
订阅专栏

《论文阅读》RoBERTa: A Robustly Optimized BERT Pretraining Approach

期刊：arxiv 2019 年 7 月

类型：预训练语言模型

特点：对BERT模型进行进一步的探索，包括超参数设置，以及每一个任务对整体效果的贡献

本文带来Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du等人共同创作的文章

简介

想法来源

  1. BERT模型存在缺点，有可改进的点

    We find that BERT was significantly undertrained, and can match or exceed the performance of every model published after it.

  2. 通过实验的SOTA证明，该想法可行

    These results highlight the importance of previously overlooked design choices, and raise questions about the source of recently reported improvements.

数据集的选择

预训练数据集：

BOOKCORPUS
CC-NEWS
OPENWEBTEXT
STORIES

验证数据集：
GLUE
SQuAD
RACE

创新点

  • 细节性

  1. 动态掩

了解本专栏 订阅专栏 解锁全文
365JHWZGo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
《RoBERTa:A Robustly Optimized BERT Pretraining Approach》论文笔记
XHHP
11-10 690
一、摘要 预训练模型在语言模型中起到了很大的作用，但是训练成本很高。并且很多预训练模型都是使用不同大小的私有数据集进行训练，超参数的选择也会直接对结果产生影响。 本文提出的模型仔细考虑了许多关键超参数和训练集大小的影响。 本文发现Bert模型没有充分得到训练，但是仍然可以超过其他模型的效果。 二、介绍 本文是基于Bert模型提出了RoBERTa模型。主要改进有以下四个方面： 使用更多的批量、更多的数据训练更长的时间 移除了Bert模型中next sentence prediction objecti
《RoBERTa: A Robustly Optimized BERT Pretraining Approach》论文笔记
weixin_43646592的博客
08-15 501
 论文来源： 2019 发在arXiv上  论文链接：https://arxiv.org/abs/1907.11692v1   ????主要内容  现有的一些预训练模型在NLP领域取得了不错的成绩，但是要确定哪些方面对模型性能的提升贡献最大是困难的。毕竟这些模型训练成本比较高，调优麻烦。且我们在训练的时候通常是在不同大小的私有数据集上进行的，限制了对模型效果的评测。  所以该篇论文主要就是重新对BERT模型进行了研究及调整，提出了一种改价方法来训练BERT模型，称为RoBERTa。细致地评估了其中的关键超参
RoBERTa：A Robustly Optimized BERT Pretraining Approach（2019-7-26）
weixin_49346755的博客
07-28 973
RoBERTa可以看作是BERT的改进版，从模型结构上讲，相比BERT，RoBERTa基本没有什么创新，它更像是关于BERT在预训练方面进一步的探索。其改进了BERT很多的预训练策略，其结果显示，原始BERT可能训练不足，并没有充分地学习到训练数据中的语言知识。更大的bacthsize。RoBERTa在训练过程中使用了更大的bacthsize。尝试过从256到8000不等的bacthsize。更多的训练数据。RoBERTa采用了160G的训练文本，而BERT仅采用了16G的训练文本。更长的训练步骤。...
RoBERTa: A Robustly Optimized BERT Pretraining Approach
zephyr_wang的博客
01-25 742
1 简介 本文根据2019年《RoBERTa: A Robustly Optimized BERT Pretraining Approach》翻译总结的。 RoBERTa：稳健优化BERT方法。对BERT进行了优化。 RoBERTa ：Robustly optimized BERT approach. RoBERTa包括: 采用动态mask； 采用FULL-SENTENCES without NSP loss；没有使用NSP，NSP作用不大。 large mini-batches；采用更大的batch。
论文阅读RoBERTa: A Robustly Optimized BERT Pretraining Approach
rotation博客
11-02 3002
论文信息 题目 RoBERTa: A Robustly Optimized BERT Pretraining Approach 一个强力优化的BERT预训练方法 作者 Yinhan Liu，Myle Ott，Naman Goyal， Jingfei Du等 其他 论文下载地址：https://arxiv.org/abs/1907.11692?context=cs.CL Abstract 这篇论文更像是一篇丰富的实验报告，作者发现BERT严重训练不足，若加大训练后，BERT性能会有很大的提升。 因此，作者从
论文阅读——RoBERTa A Robustly Optimized BERT Pretraining Approach
qq_43658933的博客
03-17 1550
RoBERTa A Robustly Optimized BERT Pretraining Approach Abstract Devlin等人在 BERT Pre-training of Deep Bidirectional Transformers for Language Understanding 提出的BERT预训练研究虽然已达到最优结果，但 训练成本比较高，很难彻底得到训练 训练的时候通常是在不同大小的私有数据集上进行训练的，很难判断具体哪个部分对结果有促进作用 所以，作者重新衡量了关键参数
文献阅读笔记:RoBERTa：A Robustly Optimized BERT Pretraining Approach
热门推荐
ljp1919的专栏
09-09 1万+
0. 背景 机构：Facebook & 华盛顿大学 作者：Yinhan Liu 、Myle Ott 发布地方：arxiv 论文地址：https://arxiv.org/abs/1907.11692 论文代码：https://github.com/pytorch/fairseq 1. 介绍 RoBERTa 模型是BERT 的改进版(从其名字来看，A Robustly Optimized BE...
RoBERTa 论文研读笔记
从网络到AI，从学术界到产业界，随着兴趣去逐梦
11-29 819
写在前面 这篇博客一是补课，之前DataWhale的论文阅读，我因为参与课题申报等原因，没有仔细的去研读Bert系最新的几篇论文；二来，也是为自己带的预研团队开一个头，让产学研结合能在开始是就写入这个组的骨髓。 1 研究动机 2 研究方法 3 创新点分析 4 个人点评 ...
从Transformer、BERT到GPT2和XLNet：高端玩家如何用论文互怼
larry233的博客
08-03 2885
这篇文章源于和实验室同学吃饭时的一次聊天，当时就觉得很有意思，就顺便写下来了—— 自然语言处理的历史源远流长，不过这篇文章要讲的故事得从机器翻译说起 众所周知，谷歌的机器翻译一直是业内标杆，追求者众，但是谷歌显然欲求不满
RoBERTa概述
mathor的博客
11-13 2678
RoBERTa相较于BERT最大的改进有三点： 动态Masking 取消NSP (Next Sentence predict) 任务 扩大Batch Size 静态Masking vs 动态Masking 静态Maksing：在数据预处理期间Mask矩阵就已生成好，每个样本只会进行一次随机Mask，每个Epoch都是相同的 修改版静态Maksing：在预处理的时候将数据拷贝10份，每一份拷贝都采用不同的Mask，也就说，同样的一句话有10种不同的mask方式，然后每份数据都训练N/10个Epoch 动
【论文学习】RoBERTa
weixin_44815943的博客
08-16 293
目录摘要训练过程分析 摘要 RoBERTa（A Robustly Optimized BERT Pretraining Approach）基本与BERT一致，但在以下方面做了一些细节调整：1）在更多数据上，以更大batch_size，训练更长时间；2）取消NSP任务；3）更大序列长度上训练（实际都是512，只不过数据处理上尽量选取长文本作为输入）；4）dynamic mask。 训练过程分析 dynamic mask：BERT采用的是静态mask机制，静态体现在数据处理过程，具体做法就是“现将数据复制几份，
roberta论文品读
小姑仔的博客
06-18 112
1.与bert相比采用了动态mask的操作 具体操作：将数据复制十份，每一份使用不同的mask方式进行遮盖 2.去除下一个句子预测的Next Sentence Prediction的操作 3.使用large batches进行训练 4.使用Text Encoding进行文本编码，这里扩充了文本编码使用字符作为权重，而不是unicode字符作为基础的子单词单元作为权重。 重难点句子 We re-establish that BERT’s masked language model training objec
文献记录－RoBERTa: A Robustly Optimized BERT Pretraining Approach
weixin_42681868的博客
06-22 769
摘要： 本文对BERT模型中的超参数进行研究，对超参数和预训练的数据量上进行了优化． 简介： 研究内容： （１）更大的模型，更多的训练批次，更多的训练数据 （２）删除了预训练过程中＂下一句预测＂的任务 （３）训练更长的序列（data） （４）改变掩码模型 背景： 实验： 分析： ...
【预训练语言模型】RoBERTa: A Robustly Optimized BERT Pretraining Approach
夏栀的博客
11-19 2108
【预训练语言模型】RoBERTa: A Robustly Optimized BERT Pretraining Approach 作者发现BERT以及提供的预训练语言模型并没有得到充分的训练，因此本文提出RoBERTa以挖掘BERT模型，并提供充分的训练。作者认为，扩增训练语料、增大预训练的迭代次数、去掉Next Sentence Prediction、在更长的序列上训练、动态Masking等策略（Trick）可以大幅度提升BERT的性能。 简要信息： 序号 属性 值 1 模型名称 RoBE
论文笔记--RoBERTa: A Robustly Optimized BERT Pretraining Approach
最新发布
weixin_38124427的博客
05-13 279
Bert系列文章阅读之RoBERTa：更稳定更强大的BERT模型
BERT家族：RoBERTa
qq_32223859的博客
05-25 846
RoBERTa 论文：《RoBERTa：A Robustly Optimized BERT Pretraining Approach》 作者/机构：Facebook + 华盛顿大学 论文地址：https://arxiv.org/pdf/1907.11692 年份：2019.7 RoBERTa在训练方法上对Bert进行改进，主要体现在改变mask的方式、丢弃NSP任务、训练超参数优化和使用更大规模的训练数据四个方面。其改进点如下： （1）静态Mask变动态Mask Bert在整个预训练过程，选择
2020年NLP顶会热门论文精选：BERT, ERNIE, RoBERTa等
4. RoBERTa（Robustly Optimized BERT Pretraining Approach）：对BERT进行了优化，通过改变训练策略和增加训练数据，进一步提升了模型的性能。 5. ALBERT（A Lite BERT for Self-supervised Learning of Language ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值