Scoring Sentence Singletons and Pairs for Abstractive Summarization

中文标题：基于单句和双句打分的生成式摘要

论文链接：https://arxiv.org/pdf/1906.00077.pdf

发表：ACL 2019

组织：中佛罗里达大学

Abstract

在生成摘要的过程中，除了要对单个句子进行信息压缩和改写，更要对多个句子进行信息融合，尤其是一个句子对。作者提出对单句和双句进行联合打分，本文提出的模型能够建模人对于单句和句子对的选择方式，通过压缩和融合生成摘要。

1. Introduction

作者提到在句子选择和句子信息融合之间有一条“鸿沟”，即句子信息融合期望一个句子对或者多个句子作为输入，而句子选择只是单纯的选择单个句子，无法对句子信息进行融合。

作者首先分析了本文使用的三个数据集中的摘要和原文的关系，如下图所示：

可以看到，大部分的摘要是由单句或句子对压缩融合而来。

作者提出通过对单句和双句联合打分的方法，为句子选择和句子融合建立联系。

2. Related Work

本节作者提到了双句的重要性，双句可以承载更多的信息，并举下表例子：

3. Model 

作者将单个句子和句子对都统称为一个instance，句子对不要求相邻，即对于一篇具有个句子的文档，有个instance。

整个模型包含以下两个部分：

（1）对所有instance打分：

使用BERT来表示示例，因为BERT的输入既可以是一个句子，也可以是一个句子对。

由于摘要任务中句子出现的顺序会影响其重要程度（一般文档的前几句较重要），因此作者对BERT进行了一个修改，原始BERT的输入为token embedding、segment embedding和word position embedding。作者加入了一个新的输入：sentence position embedding，代表了句子位置的嵌入。作者使用BERT+fine-tune的方式，使用最后一层[CLS]标签对应的隐向量作为整个序列的表示。最后通过sigmoid函数获取其得分：

作为与BERT的对比，作者还使用一个基于TF-IDF的稀疏表示作为baseline，作者称其为VSM。

（2）生成摘要：

本文采用MMR方法来选择高分且不冗余的摘要候选集合。该方法根据以下公式对句子进行选择：

其中，D表示文档集合，S表示已经选出的摘要候选集合（初始为空），代表实例的分数（由BERT或VSM给出），代表冗余度（由和S的余弦相似度给出）。生成摘要部分使用PGN模型，整体模型结构如下：

4. Experiment

上表是句子打分阶段的实验结果，采用精确率、召回率和F1值作为指标。

下表为生成摘要的实验结果，采用ROUGE作为指标：

5. Conclusion 

本文是基于人类在进行文本摘要时的做法：选择认为最重要的单句或双句，进行压缩和信息融合以生成摘要。对BERT进行修改，加入sentence position embedding，使用BERT+fine-tune的方式得到每个实例（单句或句子对）的得分，最后使用PGN模型进行压缩和融合生成摘要。