中文标题:基于单句和双句打分的生成式摘要
论文链接:https://arxiv.org/pdf/1906.00077.pdf
发表:ACL 2019
组织:中佛罗里达大学
Abstract
在生成摘要的过程中,除了要对单个句子进行信息压缩和改写,更要对多个句子进行信息融合,尤其是一个句子对。作者提出对单句和双句进行联合打分,本文提出的模型能够建模人对于单句和句子对的选择方式,通过压缩和融合生成摘要。
1. Introduction
作者提到在句子选择和句子信息融合之间有一条“鸿沟”,即句子信息融合期望一个句子对或者多个句子作为输入,而句子选择只是单纯的选择单个句子,无法对句子信息进行融合。
作者首先分析了本文使用的三个数据集中的摘要和原文的关系,如下图所示:
可以看到,大部分的摘要是由单句或句子对压缩融合而来。
作者提出通过对单句和双句联合打分的方法,为句子选择和句子融合建立联系。
2. Related Work
本节作者提到了双句的重要性,双句可以承载更多的信息,并举下表例子:
3. Model
作者将单个句子和句子对都统称为一个instance,句子对不要求相邻,即对于一篇具有个句子的文档,有
个instance。
整个模型包含以下两个部分:
(1)对所有instance打分:
使用BERT来表示示例,因为BERT的输入既可以是一个句子,也可以是一个句子对。
由于摘要任务中句子出现的顺序会影响其重要程度(一般文档的前几句较重要),因此作者对BERT进行了一个修改,原始BERT的输入为token embedding、segment embedding和word position embedding。作者加入了一个新的输入:sentence position embedding,代表了句子位置的嵌入。作者使用BERT+fine-tune的方式,使用最后一层[CLS]标签对应的隐向量作为整个序列的表示。最后通过sigmoid函数获取其得分:
作为与BERT的对比,作者还使用一个基于TF-IDF的稀疏表示作为baseline,作者称其为VSM。
(2)生成摘要:
本文采用MMR方法来选择高分且不冗余的摘要候选集合。该方法根据以下公式对句子进行选择:
其中,D表示文档集合,S表示已经选出的摘要候选集合(初始为空),代表实例
的分数(由BERT或VSM给出),
代表冗余度(由
和S的余弦相似度给出)。生成摘要部分使用PGN模型,整体模型结构如下:
4. Experiment
上表是句子打分阶段的实验结果,采用精确率、召回率和F1值作为指标。
下表为生成摘要的实验结果,采用ROUGE作为指标:
5. Conclusion
本文是基于人类在进行文本摘要时的做法:选择认为最重要的单句或双句,进行压缩和信息融合以生成摘要。对BERT进行修改,加入sentence position embedding,使用BERT+fine-tune的方式得到每个实例(单句或句子对)的得分,最后使用PGN模型进行压缩和融合生成摘要。