RoBERTa VS BERT

最新推荐文章于 2024-05-31 14:35:17 发布
最新推荐文章于 2024-05-31 14:35:17 发布
阅读量2k 收藏 3
点赞数 2
分类专栏： NLP 文章标签： nlp 机器学习 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43352957/article/details/105380659
版权

RoBERTa- A Robustly Optimized BERT Pretraining Approach

在BERT模型的基础上，做了一些改进，提升了预训练模型的性能。

  • 把静态mask改成动态mask
    BERT中在数据预处理阶段，把数据集复制10份，然后进行MASK，也就是说原始数据集的每个句子都进行10次不同的MASK，但依然会在训练中出现重复。比如Epoch=40，那么每个相同的MASK会被重复训练4次。
    而RoBERTa采用动态mask，每次把squence输入模型时，进行MASK，使得每次训练的MASK都不同。

  • 调整输入格式和NSP任务
    考虑了四种格式：
    在这里插入图片描述
    发现去掉NSP loss之后性能有所提升；由于FULL-SENTENCES需要变大小的batch，所以采用DOC-SENTENCES形式

  • 调大batch size
    BERT用256，RoBERTa用8k

  • 把character-level BPE 换成byte-level BPE

  • 训练时间更长

  • 用更多训练数据集

总之，本文证明了BERT的预训练方法还有很多可以深挖的地方，在原先的基础上稍作调整又取得了SOTA。

传送门

南庆诗仙
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
roberta跟bert的对比
baidu_15113429的博客
11-24 1万+
roberta到底改进了什么？ 三个训练改进： 去掉下一句预测(NSP)任务 动态掩码。BERT 依赖随机掩码和预测 token。原版的 BERT 实现在数据预处理期间执行一次掩码，得到一个静态掩码。 而 RoBERTa 使用了动态掩码：每次向模型输入一个序列时都会生成新的掩码模式。这样，在大量数据不断输入的过程中，模型会逐渐适应不同的掩码策略，学习不同的语言表征。 文本编码。Byte-P...
RoBERTa相比BERT的改进
火云明月的博客
03-31 2361
继BERT、XLNet之后，Facebook提出的RoBERTa（a Robustly Optimized BERT Pretraining Approach）。本篇文章主要总结下RoBERTa相比于BERT的改进。 RoBERTa在模型结构层面没有改变，改变的只是预训练的方法，具体是以下三点。 1.动态mask RoBERTa把预训练的数据复制10份，每一份都随机选择15%的Tokens进行mask，也就是说，同样的一句话有10种不同的mask方式。然后每份数据都训练N/10个epoch。这就相当于在这N
模型实战——微调RoBERTa进行文本分类
最新发布
qq_51764183的博客
05-31 453
本次我们实战的内容是微调RoBERTa并对新的数据集进行文本分类任务。首先这里我们简单讲解一下什么是文本分类任务：这里有一句话Sentence1：“我喜欢你。”我们可以很容易地判断出来这句话是积极的。同理，对于句子Sentence2:“我讨厌你。”我们也可以知道这句话是消极的。像上面这样把句子归到不同类别里面的做法就是文本分类。在本次实战中，我们将用10k条外卖数据对RoBERTa模型进行微调，并最终用自己新生成的一系列数据基于训练好的模型进行推理。
BERT和ALBERT的区别；BERT和RoBERTa的区别；与bert相关的模型总结
L_goodboy的博客
11-03 1768
BERT和ALBERT的区别；BERT和RoBERTa的区别；与bert相关的模型总结
bert的变形：RoBERTa 和 BERT 的异同
xiyou__的博客
12-28 5975
RoBERTa和BERT对比。
自然语言处理中的RoBERTa模型：BERT的进化
禅与计算机程序设计艺术
01-21 2868
1.背景介绍 在自然语言处理(NLP)领域，BERT(Bidirectional Encoder Representations from Transformers)模型是一种基于Transformer架构的预训练语言模型，它在多种NLP任务中取得了显著的成功。然而，随着数据规模和模型复杂性的增加，BERT在某些任务中的性能并没有达到预期。为了解决这个问题，RoBERTa(A Robustly ...
微调预训练语言模型，解决多标签分类任务(可加载BERT、Roberta、Bert-wwm以及albert等知名开源tf格式的模型
01-07
本文将深入探讨如何利用预训练模型，如BERT、RoBERTa、BERT-wwm以及ALBERT等，在TensorFlow框架下进行微调，以解决多标签分类任务，并最终将模型导出，以便在TensorFlow Serving环境中部署。 首先，让我们了解什么...
使用Roberta和Bert简单变压器的COVID-19-Tweet分类：等级1216
01-31
在本项目中，我们关注的是使用预训练的自然语言处理模型——RoBERTa和BERT，对COVID-19相关的推文进行情感分析和文本分类。这些任务在当前的大数据环境中至关重要，因为社交媒体上的大量信息可以帮助研究人员理解...
RoBERTa-japanese：日语BERT预训练模型
02-09
RoBERTaとは， ，BERTの改良版です。モデル构造そのものはオリジナルのBERTと同じで，学习手法に工夫があります。 のプロジェクトは，。 RoBERTa（改良BERT）日本语モデル 新 Tensorflow 1.x / 2.x両対応しました ...
WordSeg:BiLSTM \ BERT \ Roberta（+ CRF）模型的PyTorch实现，用于中文分词
03-27
模型本项目实现了中文分词任务的baseline模型，对应路径分别为： BiLSTM-CRF BERT-Softmax BERT-CRF BERT-LSTM-CRF其中，根据使用的预训练模型的不同，BERT-base-X模型可转换为Roberta-X模型。要求此仓库已在Python ...
RoBERTa中文预训练模型.zip
07-01
RoBERTa是BERT的改进版，通过改进训练任务和数据生成方式、训练更久、使用更大批次、使用更多数据等获得了State of The Art的效果；可以用Bert直接加载。 本项目是用TensorFlow实现了在大规模中文上RoBERTa的预训练...
深入理解深度学习——BERT派生模型：RoBERTa（A Robustly Optimized BERT Pretraining Approach）
热门推荐
冯·诺依曼
06-23 1万+
现阶段，预训练语言模型总是可以通过更大的模型和更多的数据获得更好的性能，GPT系列模型就是此类优化方向的典范。RoBERTa（模型名源自论文名A Robustly Optimized BERT Pretraining Approach）是脸书公司提出的在BERT基础上增加训练数据，充分训练得到的预训练语言模型。
无炫技：纯粹的Bert和Roberta
BmwGaara的博客
09-16 1367
项目连接：https://github.com/whgaara/pytorch-roberta 项目概述 bert作为当代NLP的基石型模型，熟练掌握是至关重要的。笔者阅读了很多大牛的代码，发现很多内容过于反锁，考虑的范畴与功能也非常的复杂，本着让更多小伙伴能通过代码直击bert精髓因此自己一行行纯手工敲出这个项目，尽可能做到的是纯粹。 因为roberta和bert极其相似，因此这里顺便给出了两种训练模式，其主要区别就是预训练数据的区别。此外，考虑到应用场景，此处bert也放弃了NSP任务，大家阅读时..
BERT、ALBERT、RoBerta、ERNIE模型对比和改进点总结
xuyupeng_sjtu的博客
07-31 3320
BERT、ALBERT、RoBerta、ERNIE模型对比和改进点总结
pytorch微调bert_香侬读 | RoBERT: 没错，我就是能更强——更大数据规模和仔细调参下的最优BERT
weixin_39624705的博客
11-02 470
文章标题：RoBERTa: A Robustly Optimized BERT Pretraining Approach文章作者：Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov文章链接：...
BERT、RoBerta、XLNet、ALBERT对比
Swift's Blog
03-25 1696
BERT BERT堆叠了多层Transformer的Encoder模块，设计了两个任务来完成预训练： Masked LM：随机mask掉15%的token，其中80%替换为[MASK]，10%替换为其它token，10%保留原单词。 Next Sentence Prediction(NSP)：从训练集中抽取A和B句，50%为A的下一句，50%为其它句子。 RoBerta 静态Mask VS 动态Mask 静态Mask：BERT对每一个序列随机选择15%的tokens替换成[MASK]，而一旦被选中，之
Roberta: Bert调优
雨石
09-30 2379
最近要开始使用Transformer去做一些事情了，特地把与此相关的知识点记录下来，构建相关的、完整的知识结构体系。 以下是要写的文章，文章大部分都发布在公众号【雨石记】上，欢迎关注公众号获取最新文章。 Transformer:Attention集大成者 GPT-1 & 2: 预训练+微调带来的奇迹 Bert: 双向预训练+微调 Bert与模型压缩 Bert与模型蒸馏：PKD和DistillBert ALBert: 轻量级Bert TinyBert: 模型蒸馏的全方位应用 MobileBert:
Roberta 充分训练的bert模型
hanghanghang的博客
06-22 612
RoBERTa是在论文《RoBERTa: A Robustly Optimized BERT Pretraining Approach》中被提出的。此方法属于BERT的强化版本，也是BERT模型更为精细的调优版本。他改了优化器的参数，原始BERT优化函数采用的是Adam默认的参数，其中β1=0.9,β2=0.999，在RoBERTa模型中考虑采用了更大的batches，所以将β2改为了0.98。他把静态掩码改成了动态掩码，原始静态mask：BERT中是准备训练数据时，每个样本只会进行一次随机mask（因此每
RoBERTa：BERT的优化方案
Neways的博客
12-03 2111
RoBERTa前言说明BERT简介结构输入训练目标MLMNSP优化AdamGELU数据相融实验动态OR静态掩码模型输入格式和NSP lossBatch size文本编码RoBERTa RoBERTa论文地址 前言说明 BERT模型是欠训练的，作者提供了一个超参优化的BERT训练模型RoBERTa, 即稳健优化的BERT方法（Robustly Optimized BERT Pretraining Approach) 优化的点包括： 训练时间更长，更大的batch，更多的数据 去掉了NSP训练（BERT的两个
RoBERTa和BERT的区别
05-18
RoBERTa和BERT都是预训练模型，其中BERT是首个被广泛使用的预训练模型，而RoBERTa是在BERT的基础上进行了改进和优化。 以下是RoBERTa和BERT之间的主要区别： 1. 训练数据：RoBERTa使用了比BERT更多的数据和更长的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值