天马摘要

摘要

近些 预训练工作Transformers 在海量语料上进行自监督预任务再到下游各种NLP任务(当然也包括文本摘要)上微调的方案已取得巨大成功。然而，为抽象文本摘要定制的预训练目标还没有被探索。此外，抽象的文本摘要缺乏跨不同领域的系统评估。在这项工作中，我们提出了一个新的自监督目标预训练模型，在大规模文本语料库上基于Transformer-based的encoder-decoder模型。在PEGASUS中，将输入文档中重要的句子移除/屏蔽，再利用剩余的句子在输出中生成这些被mask掉的句子。

介绍

文本摘要的目的是从输入文档中产生一个准确和简明的摘要，相反抽取式摘要仅仅是从输入中复制信息片段，抽象式摘要会产生新的词，一个好的抽象式摘要包含了输入文档的原意并且语言流畅。
在抽象式摘要中，主流的框架是sequence-to-sequence (Sutskever et al., 2014)模型，它开始基于RNNs (Chung et al., 2014; Hochreiter & Schmidhuber, 1997)。但因为基于Transformer(Vaswani et al., 2017) encoder-decoder的各种模型在处理长序列中的依赖关系表现更好，所以逐渐更受青睐。以往的神经摘要工作依赖于大规模的、高质量的文本摘要对的监督数据集 (Hermann et al., 2015)。并且实现了很好的结果 (Rush et al., 2015; Nallapati et al., 2016; See et al., 2017)。近年来，人们对收集摘要数据集越来越感兴趣，这些数据集有更抽象的摘要 (Narayan），文档较长 (Cohan et al., 2018; Sharma et al., 2019),利用了多个文件 (Fabbriet al., 2019), 并且来源于不同的领域 (Grusky
et al., 2018; Koupaee & Wang, 2018; Kim et al., 2019;Kornilova & Eidelman, 2019; Zhang & Tetreault, 2019);
然而，在此背景下，对模型的评估工作却很少
同时，基于Transformer模型(Vaswani et al., 2017)在大型文本语料库上进行自监督目标的预训练任务(Radford et al., 2018a; Devlin
et al., 2019)，在许多NLP任务上具有改进的性能(Wang et al., 2018; Rajpurkar et al., 2016).
近年来，基于Transformer的sequence-to-sequence (Dong et al., 2019; Song et al., 2019; Rothe et al., 2019; Lewis et al., 2019; Raffel et al., 2019)模型进行预训练的工作已经被成功的应用于文本生成，包括抽象式摘要。

在这项工作中，我们针对抽象文本摘要定制预训练目标，在12个下游数据集(包括新闻、科学、故事、使用说明、电子邮件、专利和立法议案)进行了测试，我们发现从文档中mask整句以及从文档剩余部分生成这