读论文2018 ACL A unified model for extractive and abstractive summarization using inconsistency loss

Abstract

提出了一个兼具抽取式和生成式优点的摘要模型。一方面，简单的抽取式模型可以包含句子级别的attention，且句子集合的ROUGE分数很高，但句子可读性差。另一方面，一个非常复杂的摘要模型可以包含句子级别动态计算的注意力来生成一个可读的段落。本论文提出的模型：句子级别的注意力被用来改善词级别的注意力，如在句子中参与少的词生成的概率更少。此外，inconsistency loss function被用来惩罚词级别注意力和句子级别注意力的不一致。用inconsistency loss和original loss训练end-to-end该extractive and abstractive 模型，得到了state-of-the-art的ROUGE分数，而且在CNN/Daily Mail数据集的solid human evaluation评测的摘要结果中，包含信息量和可读性最好的。

introduction

Text summarization is the task of automatically condensing a piece of text to a shorter version while maintaining the important points. The ability to condense text information can aid many applications such as creating news digests, presenting search results, and generating reports. There
are mainly two types of approaches: extractive and abstractive. Extractive approaches assemble summaries directly from the source text typically
selecting one whole sentence at a time. In contrast, abstractive approaches can generate novel words and phrases not copied from the source text.

所以生成式可以比抽取式更加连贯简明。抽取式方法更简单，已有很多工作集中于抽取式摘要。其中Nallapati2017年的摘要工作ROUGE分数最高；另一方面，生成式方法包含了复杂的神经网络用以概述，生成不在源文本中的词，其中attentional encoder-decoder模型能生成ROUGE分数较高的摘要，但是生成式摘要有错误信息并且无法处理OOV问题。最近See 2017提出了pointer-generator模型不但生成源文本中不在的词而且从源文档中复制词。尽管生成式摘要取得了很多进步，但是抽取式方法和Lead-3方法依旧在ROUGE测试中表现优异。
本论文明确提出综合利用目前表现最好的抽取式和生成式的优点的摘要模型。首先，我们把抽取式方法（Nallapati 2017）计算的每个句子的概率作为句子级别的attention，其次