PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization论文笔记

阅读动机：dst和gsg有极大的关联性

pegasus预训练模型任务：将input的document内重要的句子mask掉，output是由留下的句子生成的新句子，有点类似于extractive summary

extractive summary：仅仅从input里面复制信息 abstractive summary：会生成新的词语（好的abstractive summary不仅包含了基本的input信息 而且语句流畅度好）

早前的工作基本都集中在如何做出高质量的数据集，几乎没有对模型的系统评估工作。该论文则是预训练abstractive summarization，然后在12个下游数据集上进行evaluate

该预训练任务GSG十分类似dst，或者换言之，dst就是一个summary-like generation

和以往的MASS\BART\T5模型不同，这个新模型不是把小的text span给mask掉 而是把整个句子给抹掉，而且句子也不是随机选择的，是选取了最重要的句子进行擦除，并且output不会包含原有的句子，只会是新生成的句子。

本文的杰出贡献之一是做了一个新的预训练任务GSG gap sentence generation，为了对比，还是设置了bert 、bert+gsg作为对照组

设置及实验部分待精读

预训练任务

gap sentence generation 中random和lead方式选mask掉的句子不再赘述，值得一提的是principal方法：选取重要程度最高的m个句子，重要程度计算方式：句子xi和剩余句子的ROUGE1-F1分。Ind：句子分数是独立的 Seq：一种之前的方法，通过最大化rouge1-F1分序列化选择句子&#x