【综述阅读】An Empirical Survey on Long Document Summarization: Datasets, Models and Metrics

综述标题：An Empirical Survey on Long Document Summarization: Datasets, Models and Metrics

4 MODELS

4.1 Overview

以下描述了抽取式、抽象式和混合式摘要方法之间的区别与摘要系统的一般分类法。

A. 提取、抽象和混合方法

自动文本摘要研究中的工作传统上分为三种不同的摘要方法：（i）提取方法，涉及将原始文档的句子等显着片段直接提取到摘要中 [15, 38]，（ii）抽象方法模仿人类将文档的重要部分解释为摘要的行为 [101, 103] 和 (iii) 试图结合两种方法中最好的方法的混合方法 [37, 77]。直观地说，抽取式摘要方法是一种更简单的机器学习任务，可以被认为是一种将词汇片段单元（例如句子）提取到摘要中的分类和/或排序问题。相比之下，抽象摘要需要通过重新排列原始文本中的单词和短语或设计新颖的措辞来将文档的重要思想转述为摘要，同时保持生成的摘要与原始文档的事实一致性。

由于抽取式摘要方法仅提取和排列它认为显着的原始文本并且不改变原始文本，因此它具有生成与源文档事实上一致的摘要的好处[21]。然而，由于基于人的摘要通常涉及将想法和概念解释为更短、更简洁的句子，这种方法的提取句子通常包含冗余和无信息的短语 [42]。虽然存在将源文档分解为比句子更低的词汇单元（例如，基本话语单元）[120] 的提取摘要模型，但由于输入文档的极端长度，它们通常不适用于长文档摘要域。

另一方面，模仿人类编写摘要的方式，抽象摘要方法呈现出生成流畅、简洁且与源文档相关的摘要的蓝天潜力[103]。它还可以根据用户的需求将外部知识合并到摘要中[81]。然而，在目前的发展阶段，由最先进的抽象模型生成的摘要通常包含大量与源文档实际上不一致的内容，从而限制了其在商业环境中的应用 [8, 62]。

最后，针对当前模型架构和设计的限制，混合摘要方法与抽象摘要方法的区别仅在于它接受原始输入文档的精心选择的子集，而不是原始形式的整个输入文档[ 37, 94]。这个额外的步骤减轻了抽象摘要模型的负担，这些模型必须同时生成摘要摘要并选择重要内容。这种方法更常用于长文档摘要领域，因为当前模型仍然无法（a）对极长文本进行推理 [77, 82] 和/或（b）遭受内存复杂性问题和硬件限制，使其无法处理长输入文本 [49, 127]。

B. 一般分类法

在每个长文档摘要模型中，本文**将模型分解为两个不同的组成部分：（i）主要架构和（ii）其机制。**主架构是指模型使用的核心框架结构，其机制是模型对主架构实施的不同设置或修改。两种不同的模型可能使用相同的主要架构，但使用不同的机制实现，反之亦然。例如，使用基于图形的主要架构的模型可能会使用不同的编码机制来向量化输入文档的句子。以下描述了摘要模型的各种主要架构，以及以前的工作在生成长文档摘要所采用的机制方面有何不同。

4.2 Main Architecture and its Mechanisms

在寻找摘要系统的最佳架构设置时，研究领域从主要架构和机制的许多不同的新颖设计开始，但往往会趋向于一些通常最有效的想法，直到另一个突破性的想法这超越了以前系统的性能，并且循环重复。

1. 图架构：

   对于抽取式摘要方法，经典的图架构涉及将文档映射到图网络的两个阶段过程，其中顶点是句子，边是这些句子之间的相似性，并提取 top-k 句子。根据每个句子的图中心性评分对句子进行排名 [29, 83]。由于（a）在计算句子之间的相似性之前对句子进行编码或向量化以及（b）计算每个句子的中心度得分有很多不同的方法，因此涉及这种架构的研究通常仅在这两种机制上有所不同。例如，对于前一种机制，过去的图架构 [29, 83] 根据单词出现或词频逆文档频率 (Tf-Idf) 对句子进行编码，而今天的图架构 [69, 135] 使用最先进的预训练模型编码句子。另一方面，为了改进中心度评分机制，PacSum [135] 和 FAR [69] 根据其他句子是在它之前还是之后来调整句子的中心度得分，而 HipoRank [25] 利用包含的语篇结构通过使用位置和部分偏差调整中心性得分。一般来说，给定原始源文档中的一组句子𝐷 = {𝑠1, 𝑠2, …, 𝑠𝑚},句间相似关系表示为𝑒𝑖𝑗 = (𝑠𝑖 , 𝑠𝑗) ∈ 𝐸 where 𝑖 ≠ 𝑗,下面说明了上述计算每个句子评分的架构：
   𝑐 𝑒 𝑛 𝑡 𝑟 𝑎 𝑙 𝑖 𝑡 𝑦 ( 𝑠 𝑖 ) = ∑ 𝑗 ∈ 1 , . . . , 𝑖 − 1 , 𝑖 + 1 , . . . , 𝑚 𝑒 𝑖 𝑗 ∗ 𝐵 𝑖 𝑎 𝑠 ( 𝑒 𝑖 𝑗