BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation ...

已于 2024-01-06 12:14:22 修改
阅读量366 收藏
点赞数 1
分类专栏： NLP Papers NLP AI 文章标签： nlp deep learning ai
于 2021-10-30 19:39:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chansonzhang/article/details/120474056
版权
NLP Papers 同时被 3 个专栏收录
54 篇文章 23 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
AI
67 篇文章 2 订阅
订阅专栏
NLP
60 篇文章 1 订阅
订阅专栏
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

Abstract

本文提出 BART (Bidirectional and Auto-Regressive Transformers)，一个用于预训练 seq2seq 模型的去噪自编码器。BART 的训练过程包括：

  • corrupting text with an arbitrary noising fuction
  • learnging a model to reconstruct the original text.

BART 使用标准的基于 Transformer 的神经机器翻译架构，可以看做是 BERT（双向编码器），GPT（从左到右的解码器), 以及近期很多其他预训练机制的推广。

我们评估了很多 noising approaches, 发现性能最好的两种是：

  • 随机打乱句子的顺序
  • in-filling scheme: spans of text are replaced with a single m
了解本专栏 订阅专栏 解锁全文 超级会员免费看
chansonzhang
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
KG-BART:KG-BART
05-30
KG-BART KG-BART：用于生成常识推理的知识图增强 BART 0. 介绍 这是我们关于生成常识推理的论文中模型的官方代码库： 叶柳、姚万、何丽芳、郝鹏、Philip S. Yu。 KG-BART：用于生成常识推理的知识图增强 BART。 在...
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation，Tra...（2019-10-29）
weixin_49346755的博客
10-08 265
BART是一个用来预训练seq-to-seq模型的去噪自编码器。它通过在输入序列中加入随机的噪声函数，并利用seq2seq结构从损坏的文本中重构原始文本来训练模型。BART运用了基于Transformer的机器翻译结构，可以看作是BERT(encoder结构)和GPT(decoder结构)的结合体。
论文解读BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation,
qq_41932160的博客
03-14 2396
简介 众所周知bert的encoder 形式不适合做生成式任务。transformer decode形式在生成式方面有着非常好的表现。 bart 基本就是一个标准的sequence to sequence形式的transformer。其在文本摘要，问答 等方面有着sota 的表现。 模型介绍 bart 基本是标准的sequence to sequence形式的transformer，只不过其中的激活函数换成了gelu。 tensorflow bert源码中 def gelu(input_tensor):
论文笔记| BART：Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation
u011150266的博客
06-09 2409
作者：景 单位：燕山大学 论文来源 代码地址 前言   先说说通常意义上的预训练模型，以BERT为例，它采用大规模预料对Transformer编码器进行预训练，保存编码器参数后接下游任务，针对不同的下游任务采取不同的微调措施，例如接分类器、接解码器等。这么做的好处在于“对症下药”，但实则可以看做是妥协的产物——因为在谷歌刚提出BERT的时候，并没有针对“只编不解”这个问题的良好对策，bert在编码器堆叠了12层，这12层模型的参数经过了大规模语料的千锤百炼，对文本特征的捕获能力是极强的，但是其下游任务..
Paper小计：BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translati
huihuixiaoxue的博客
04-29 562
Abstract 我们提出了BART，一个去噪的自动编码器。BART通过（1）用任意噪声函数破坏文本进行训练，（2）学习一个模型来重建原始文本。它使用了一个标准的基于转换器的神经机器翻译架构，尽管它很简单，但可以看作是推广BERT（由于双向编码器）、GPT（带有从左到右的解码器）和许多其他更新的预训练方案。我们评估了许多噪声方法，通过随机打乱原始句子的顺序和使用一种新的填充方案来找到最佳性能，其中文本的跨度被替换为一个掩码标记。BART在微调文本生成时特别有效，但对理解任务也很有效。 它将RoBERTa的
论文阅读：BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation,
Hero19980512的博客
04-28 1048
论文阅读：BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 来源：ACL 2020 下载地址：https://aclanthology.org/2020.acl-main.703.pdf Abstract 我们提出了 BART，一种用于预训练序列到序列模型的去噪自动编码器。 BART 通过以下方式进行训练：(1) 使用任意噪声函数破
Z3.LinqBinding:LINQ to Z3 - 基于 Bart De Smet 想法的深奥 LINQ 绑定
06-07
LINQ to Z3 - 基于 Bart De Smet 想法的深奥 LINQ 绑定 创见 2009 年，Bart De Smet 创建了一个 LINQ to Z3 绑定，并在三篇博文中对其进行了描述 这个版本 自 2009 年以来，最初来自 Microsoft Research 的 Z3 定理...
bart-0.4.04_insidezsn_reconstruction_matlabGUI_bart_
10-02
LIBRARY_PATH environment variable
bart标注工具安装 brat-1.3_Crunchy_Frog.tar.gz
09-24
2022年9月24。 bart标注工具安装，官网下载压缩包下载。
bart-now:针对BART-Now的React Web App和Node服务器
05-01
现在的BART 部署的测试服务器： : React Native应用程序： :
【论文阅读】BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation
weixin_38506372的博客
03-15 234
BART是一个encoder-decoder的结构，其encoder端的输入是加了噪音的序列，decoder端的输入是right-shifted的序列，decoder端的目标是原序列。模型设计的目的很明确，就是在利用encoder端的双向建模能力的同时，保留自回归的特性，以适用于生成任务。BART是一种用于预训练seq2seq模型的去噪自编码器，模型的训练过程大致是利用噪声函数破坏文本，再通过模型学习重建完整的原始文本。论文地址：https://arxiv.org/pdf/1910.13461.pdf。
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and
最新发布
liangdengne_123的博客
05-27 187
我们暂时认为产生一个文章，产生一个句子的方法应该是从左往右，而BERT的训练方式不是按照文本从左往右的方式生成文本，而是根据上下文，因此根据现在产生一个句子的方法，根据上文写下下一个字，两者是不同的，虽然可以以如下图右侧的方式生成下一个，但是因为与训练的方式不同，因此效果不太理想，因此在这一方面的应用，我们会说BERT是不善言词的。，Mask语言模型，传统语言模型是给定所有前面词来预测最可能的当前词，而BERT模型则是随机的使用「mask」来掩盖一些词，并利用所有没有被掩盖的词对这些词进行预测。
BART：Denoising Seq2Seq Pre-training for Natural Language Generation, Tranlation and Comprehension
Forlogenの解忧杂货铺
11-02 1423
BART：Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Tranlation and Comprehension 看看文章的研究机构就知道这不是一篇简单的文章，本文在之前多种相关的预训练模型的基础上，提出了一种基于DAE的Seq2Seq预训练模型。模型整体上采用标准的基于Transform...
BART: Denoising Sequence-to-Sequence Pre-training翻译
nopSled
10-20 1845
摘要 我们介绍了BART，一种用于预训练序列到序列模型的去噪自编码器。通过（1）使用任意噪声函数来对文本进行加噪，并（2）学习模型以重建原始文本来训练BART。它使用基于标准Tranformer的神经机器翻译架构，尽管它很简单，但可以看作是BERT（由于双向编码器），GPT（具有从左至右解码器）以及许多其他最近的预训练方案的扩展。我们评估了多种加噪方法，发现通过随机改变原始句子的排列顺序并使用新的填充方案（其中文本段被单个mask标记替换）能获得最佳性能。当针对文本生成进行微调时，BART特别有效，并且对于
论文阅读【自然语言处理-预训练模型2】BART:Denoising Sequence-to-Sequence Pre-training for Natural Language Generation
weixin_47082769的博客
05-11 1411
我们介绍了 BART，一种用于预训练序列到序列模型的去噪自动编码器。BART 通过 (1) 使用任意噪声函数破坏文本，以及 (2) 学习模型来重建原始文本进行训练。它使用标准的基于 Tranformer 的神经机器翻译架构，尽管它很简单，但可以看作是对 BERT（由于双向编码器）、GPT（具有从左到右的解码器）和许多其他更新预训练计划。我们评估了许多噪声方法，通过随机打乱原始句子的顺序和使用新颖的填充方案找到最佳性能，其中文本跨度被替换为单个掩码标记。
【论文阅读笔记】BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translati
baweikamisama的博客
01-12 592
BART:去噪序列到序列的预训练自然语言生成、翻译和理解
Bart的训练和推理
说文科技，做有态度的研究。
10-21 1626
Bart模型的训练好预测逻辑是不同的。训练的时候可以使用causal_mask 对整个序列进行一个并行训练，但是inference的时候，必须是自回归的。
二元交叉熵损失梯度推导
热门推荐
Young, Simple, Naive
12-01 1万+
二元交叉熵损失（logistic 损失）定义如下： Llogistic(y^,y)=−ylogy^−(1−y)log(1−y^) L_{\text{logistic}}(\hat{y},y) =-ylog\hat{y}-(1-y)log(1-\hat{y}) Llogistic​(y^​,y)=−ylogy^​−(1−y)log(1−y^​) 其中 y∈{0,1}y\in\{0,1\}y∈{0,1...
人类历史上第一个推荐系统
Young, Simple, Naive
12-27 6780
让我们把时间推回到28年前那个风雨交加的夜晚，在一个小破屋里，几个老男人捣鼓出了人类历史上第一个推荐系统——Tapestry
我的意思是用bart-base模型给我提供一个实例
05-10
It can be used for text generation tasks like summarization, translation, and question answering. ``` 上面的代码将输入的文本编码为BART可以理解的格式，然后使用BART模型生成摘要。在这个示例中，BART生成...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值