论文阅读-可控NLG

GSum: A General Framework for Guided Neural AbstractiveSummarization

Abstract

abstractive summarization模型灵活，可以生成连贯的摘要，但是有时unfaithful并且很难去控制。尽管之前的工作尝试提供不同类型的guidance来控制输出并增加faithfulness，目前仍不清楚这些策略之间如何互相对比。本文我们提出了一个通用可扩展的摘要框架：GSum，它可以采用不同类型的外部guidance作为输入，我们采用几种不同变体实施了实验。经验结果证明了模型有效，当使用关键句作为guidance时，模型在4个流行的摘要数据集上达到了sota的rouge指标。除此之外，我们展现了我们的模型可以生成更faithful的摘要，并展示了不同类型的guidance如何生成质量上不同的摘要，从而为模型提供了一定程度的可控性。

Introduction

文本摘要技术可以分为extractive methods（Nallapati et al., 2017; Narayan et al., 2018b; Zhou et al., 2018）和abstractive methods（Rush et al., 2015; Chopra et al., 2016; Nallapati et al., 2016; Paulus et al., 2018），前者在输入文档中识别最合适的词或句子，然后拼接成摘要，后者自由的生成摘要，并可以生成新的词和句子。后者比前者更灵活，因此能生成连贯的摘要。但是，后者unconstrained的特性会导致一些问题。首先，它可能导致unfaithful摘要（Kry ́sci ́nski et al., 2019），包括factual errors以及hallucinated（幻觉）content。第二，难以控制摘要内容：很难去提前选择原始文档中可以被模型触及的方面。为了解决这些问题，我们为guided abstractive summarization提出了方法：该方法提供各种类型的guidance signals，一方面约束摘要，使得输出内容与原文档偏离变小；另一方面通过提供user-specified输入允许可控性。

对于guided abstractive summarization，过去有一些工作。例如，Kikuchi等人(2016)规定了摘要的长度，Li等人(2018)提供了带有关键字的模型，以防止模型丢失关键信息，Cao等人(2018)提出了从训练集中检索和引用相关摘要的模型。虽然这些方法在总结质量和可控性方面都有改进，但每种方法都侧重于一种特定类型的指导——尚不清楚哪种方法更好，以及它们是否相互补充。

在本文中，我们提出了一个通用可扩展的guided summarization框架，它可以采用不同类型的外部guidance作为输入。与最近大多数摘要模型类似，我们的模型基于encoder-decoders，用上下文预训练语言模型初始化，包括Bert，Bart。以这作为一个强大的起点，我们进行了修改，允许模型在生成输出时同时关注源文档和guidance signals。如图1所示，我们可以在测试期间为模型提供自动提取的或user-specified guidance，以约束模型的输出。在训练时，为了鼓励模型密切关注guidance，我们建议使用oracle来选择informative guidance signals——一个简单的修改，但被证明对于有效学习guided summarization模型是必不可少的。利用这个框架，我们研究了四种类型的guidance signals：（1）在源文档中突出显示的句子，（2）关键字，（3）以（主题、关系、对象）形式出现的显著关系元组，以及（4）检索到的摘要。

我们在6个流行的摘要benchmarks上评估我们的方法。我们最好的模型，使用关键的句子作为guidance，可以在6个数据集中的4个上实现sota性能。此外，我们对不同的guidance signals进行了深入分析，并证明了它们是相互补充的，有可能将它们的输出聚合在一起，获得进一步的改进。对结果的分析还表明，我们的引导模型可以生成更准确的摘要和更新颖的单词。最后，我们证明了我们可以通过提供user-specified guidance signals去控制输出，不同的signals可以导致不同的生成质量。

Background and Related Work

Neural abstractive summarization

abstractive summarization通常接受源文档x，它由多个句子$X_1,X_2,...X_{|X|}$组成，把它们输入encoder生成表征，并传递给decoder，decoder每次输出一个目标词y。训练中，模型参数$\theta$更新以最大化训练语料库中输出的条件似然：
$$\arg \underset{\theta }{\max }\sum _{<x^i,y^i>\in <\mathcal{X},\mathcal{Y}>}\log p(y^i|x^i;\theta )$$
过去工作已经提出了一些技术来改进模型结构。例如，copy模型(Gu et al., 2016; See et al., 2017; Gehrmann et al., 2018) 允许将单词直接从输入复制到输出，coverage模型阻止模型生成重复的单词(See et al.,2017)。

Guidance

guidance可以被定义为除了源文档x外额外输入模型的一系列信号g：
arg ⁡ max ⁡ θ ∑ < x i ,