sumn:用于长输入对话和文档的多阶段摘要框架
Abstract
文本摘要帮助读者从文件、新闻、采访和会议中获取重要信息。然而,大多数先进的预训练语言模型(LM)无法有效地处理许多摘要任务的长文本。在本文中,我们提出了一个简单、灵活和有效的多阶段框架SUMMN,用于输入文本大于典型预训练lm的最大上下文长度。SUMMN首先拆分数据样本并在多个阶段生成粗摘要,然后在此基础上生成最终的细粒度摘要。我们的框架可以在保持LM输入大小固定的情况下,通过调整分段数来处理任意长度的输入文本。此外,它可以处理单源文档和对话,并且可以在不同的骨干抽象摘要模型之上使用。据我们所知,sumn是第一个用于长输入汇总的多阶段拆分-然后汇总框架。我们的实验证明,SUMMN通过提高三个长会议摘要数据集AMI、ICSI和QMSum、两个来自SummScreen的长电视剧数据集和一个长文档摘要数据集GovReport上的ROUGE得分,优于之前最先进的方法。Our data and code are available at https://github.com/ psunlpgroup/Summ-N.