一个统一的自动摘要模型结合生成式和提取式摘要技术

引言

根据以前的知识，提取式摘要能获得更好的ROUGE评分，但是可读性较差，信息量比较低；生成式摘要与之相反，有较高的可读性和丰富的信息，但是ROUGE评分较低。所以我们就思考能不能将提取式摘要和生成式摘要相结合生成较好的摘要。

论文连接：A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss
代码地址：https://github.com/HsuWanTing/unified-summarization

整体系统架构

整个系统分成两个大的子系统提取器和生成器。提取器从原文中提取信息量较大的句子，并得到一个句子的概率分布（句子级别的注意力）。生成器在上述提取句子的基础上做生成式的摘要，单词级别的注意力和句子的注意力相关是动态变化的。

提取器

提取器的主要目标是从原文中提取信息量较大的句子，在之后的生成器中才能生成较好的摘要。

首先，用一个层级的双向GRU网络，得到句子的注意力（句子的概率分布）