抽象摘要—通过融合精炼抽取和抽象摘要结果减少摘要幻觉问题：UTILIZING GPT TO ENHANCE TEXT SUMMARIZATION: A STRATEGY TO MINIMIZE HAL

Utilizing GPT to Enhance Text Summarization: A Strategy to Minimize Hallucinations

利用 GPT 加强文本总结： 减少幻觉的策略

paper：https://arxiv.org/abs/2405.04039

github：

本文提出了一种新的方法来减少LLM或者抽象式摘要生成的幻觉问题：1.使用抽取式摘要，2.使用抽象式摘要，3.将抽取和生成进行融合，4.使用gpt对融合数据进行精炼。可以学习他的融合方法和提炼方法。

1.背景动机

介绍文本摘要任务：

文本摘要技术通常分为两类：提取法和抽象法。提取式摘要—通常使用DistilBERT等模型识别原文中的重要单词或短语。抽象式—摘要利用 T5等模型涉及生成新句子，其结果往往是摘要更加简洁明了。但这种方法特别容易出现 “幻觉”。

本文还生成了混合摘要，将抽取式摘要与抽象式摘要相结合。该技术旨在生成和评估一个总结框架，在提高质量的同时显著降低幻觉。

为了进一步提高摘要的质量，本文将抽取式摘要和抽象式摘要的优点与使用GPT相结合。

介绍本文研究：

本研究介绍了一种基于 GPT 的提炼过程，旨在成功减少幻觉内容。证明本文的方法如何增强和完善当前的摘要方法。

2.Model

1.Extractive Summarization，抽取式摘要（DistilBERT）：

第一步，DistilBERT 模型用于生成提取摘要。这种方法生成事实准确、忠实于原文内容的摘要。

2.Abstractive Summarization，抽象式摘要（T5）：

第二步，T5 模型用于生成抽象式摘要，这种寻求不仅简洁而且具有更多语言多样性的摘要。

3.混合摘要方法：

第三步，DistilBERT 和 T5 的输出被导入算法1。该算法用于增强混合技术，确保可读性和清晰度之间的平衡。过滤并只保留摘要中那些与原文中词语语义高度相似的词语。

4.基于GPT的提炼：

第四步，未经提炼的摘要（提取式、抽象式和混合式）将使用基于 GPT 的提示进行提炼。目的是减少任何幻觉，提高摘要的整体质量。

5.评价指标列举：

• FactSumm 利用命名实体识别和关系提取技术从源文档和输出摘要中提取事实，以评估事实的一致性。

• QAGS 通过从摘要中生成问题并使用源文件回答这些问题来评估摘要的质量。

• SummaC 采用自然语言推理 (NLI) 方法来确定源文件在逻辑上是否意味着摘要。

• ROUGE 指标检查摘要和原始文档在单字词（ROUGE-1）、双字词（ROUGE-2）和最长共同子序列（ROUGE-L）方面的重叠程度 Lin (2004)。

• GPT 进行的评估与旨在评估事实准确性和检测摘要中幻觉的提示相结合。基于 GPT 的评估和改进过程中进行了描述：幻觉评分： 重新使用方法论最后完善步骤中的提示，根据幻觉程度对摘要进行评分。该提示对幻觉程度的评估从 0 到 1，其中 0 表示摘要完全出现幻觉，1 表示没有幻觉。详细分析： 在方法论部分使用的详细分析提示同样在此使用，以解释打分背后的原因，确保评估的全面性。

与 ROUGE 等主要衡量文本重合度的传统指标不同，基于 GPT 的评估能更深入地了解摘要的语义和事实正确性。这种方法不仅能确保摘要与源文本的词汇相似，还能确保摘要与事实的准确性保持一致，从而更有效地解决幻觉这一关键问题。

3.原文阅读

Abstract

在这项研究中，我们使用 DistilBERT 模型生成提取摘要，使用 T5 模型生成抽象摘要。此外，我们还结合 DistilBERT 和 T5 模型生成混合摘要。我们研究的核心是实施基于 GPT 的提炼过程，以尽量减少人工智能生成的摘要中常见的幻觉问题。我们对未经提炼的摘要进行了评估，在提炼后，我们还使用一系列传统和新颖的指标对提炼后的摘要进行了评估，结果表明摘要的准确性和可靠性有了明显改善。结果凸显了在减少幻觉内容方面的重大改进，从而提高了摘要的事实完整性。

1 Introduction

随着数字内容在互联网上的迅速传播，对强大的文本摘要技术的需求越来越大。这些技术通过将冗长的文本压缩成简短的摘要，同时保留上下文和含义，使人们更容易获取大量信息。文本摘要通过快速有效地提供相关信息，在企业报告、研究评论和新闻聚合等多个领域发挥着至关重要的作用。

介绍文本摘要任务：

文本摘要技术通常分为两类：提取法和抽象法。为了提供合乎逻辑的摘要，提取式摘要—通常使用 DistilBERT 等模型–侧重于识别和汇编原文中的重要单词或短语。另一方面，抽象式摘要–利用 T5等模型–涉及生成新句子，其结果往往是摘要更加简洁明了。但这种方法特别容易出现 “幻觉”，即摘要中包含了源文本中似是而非的内容。我们还生成了混合摘要，将抽取式摘要的事实准确性与抽象式摘要的语言复杂性相结合 。该技术旨在生成和评估一个总结框架，在提高质量的同时显著降低幻觉。为了进一步提高摘要的质量，我们的方法将抽取式摘要和抽象式摘要的优点与使用生成预训练transformer（GPT）的新颖提炼方法相结合。

介绍本文研究：

本研究涵盖了一种基于 GPT 的提炼过程，旨在成功减少幻觉内容。我们使用一系列广泛的指标对这一过程进行评估，并通过严格的测试和分析，证明我们的方法如何增强和完善当前的摘要方法。我们的研究结果旨在表明，生成的摘要不仅更加准确可靠，而且简洁明了。

2 Literature Review

文本摘要是处理大量数字信息的重要工具。目前已开发出不同的方法，各有利弊。提取式摘要以其简单性和直接使用源文件中的文本而著称，因其事实准确性和易于实施而历来受到青睐。在新闻文章中，最重要的信息往往出现在开头，流行的方法如 Lead-3（选择文档的前几个词或句子）。另一方面，抽象概括法会生成新的句子，旨在生成类似于人类的摘要，并有能力对原始材料进行转述和概括。尽管这种方法可以提供简洁流畅的摘要，但特别容易出现错误和幻觉。

抽象概括中的幻觉挑战引发了大量的研究兴趣，从而产生了各种旨在尽量减少这些错误的方法。最近的策略包括应用先进的机器学习技术（如强化学习），对生成源文本中找不到的内容进行惩罚，而早期的努力往往依赖于严格的生成约束或基于规则的系统。此外，明确训练的模型可验证生成后摘要的事实准确性。这些模型测量语义相似性，以确保内容的准确性。

混合方法是为了减少提取法和抽象法的缺点而设计的。这些技术将抽象总结的连贯性和可读性与提取总结的事实正确性结合起来。为了生成更准确、更连贯的摘要，Zhu 等人提出了一些方法，包括提取重要句子，然后使用抽象机制对其进行重写。但是，即使取得了这些进步，如何有效地在准确性和可读性之间取得平衡，尤其是在最大限度地减少幻觉方面，仍然是一个值得关注的挑战。

在我们的研究中，我们使用 T5 模型进行抽象总结，使用 DistilBERT 模型进行提取总结。我们还结合 T5 和 DistilBERT 模型提供混合摘要。本研究主要关注基于 GPT 的细化方法，该方法旨在进一步减少幻觉，提高摘要的整体可靠性。这种方法旨在解决以往研究中凸显的局限性，并建立文本摘要技术的新基准。

3 Methodology

3.1.Generation of Unrefined Summaries

我们的方法首先是生成提取式摘要、抽象式摘要和混合式未精炼摘要，每种摘要都利用其独特的优势生成全面的初稿。图 1 是研究方法的示意图。

3.1.1 Extractive Summarization Using DistilBERT

Extractive Summarization，抽取式摘要（DistilBERT）：

在非精炼摘要生成的第一阶段，DistilBERT 模型用于生成提取摘要。为了生成事实准确、忠实于原文内容的摘要，这种方法需要从原文中选取最相关的句子。

3.1.2 Abstractive Summarization Using T5

Abstractive Summarization，抽象式摘要（T5）：

T5 模型用于生成抽象式摘要，与提取式摘要并行不悖。T5 通过创建新句子和提炼内容来改写文本，从而寻求不仅简洁而且具有更多语言多样性的摘要。

3.2.Hybrid Summarization Approach

混合摘要方法：

生成后，DistilBERT 和 T5 的输出被导入定制算法1。该算法用于增强混合技术，确保可读性和清晰度之间的平衡。这种改进系统地过滤并只保留摘要中那些与原文中词语语义高度相似的词语。

3.2.1 Algorithm: Hallucination Reduction in Text Summaries

3.3.GPT-Based Evaluation and Refinement Process

基于GPT的验证和提炼：

未经提炼的摘要（提取式、抽象式和混合式）将使用基于 GPT 的提示进行提炼。这一阶段的目的是减少任何幻觉，提高摘要的整体质量。我们流程中的每个提示都通过评估摘要与原文的忠实度和准确性来评估和完善摘要。

3.4.Implementation Details

总结过程使用的是 CNN/Daily Mail 数据集，文章在通过总结模型处理之前都经过了预处理。同一套既定指标被用于评估未经提炼和提炼的摘要，以验证质量的改进并确保源材料的完整性。通过这种一致的评估方法，可以直接比较提炼前后的摘要，从而突出我们的提炼过程在提高事实准确性和减少幻觉方面的有效性。我们的方法结合了先进的技术和严格的提炼，旨在提高文本摘要的可靠性，并通过提高可信度在该领域建立新的标准。

4 Evaluation Metrics

我们采用了多种指标来评估未经提炼和提炼的摘要的质量，并特别关注如何最大限度地减少幻觉。我们的评估框架混合使用了传统和新颖的指标，以全面评估所生成摘要的质量和准确性。

4.1.FactSumm

FactSumm 利用命名实体识别和关系提取技术从源文档和输出摘要中提取事实，以评估事实的一致性。为了评估一致性，该指标比较了以关系三元组（主题、关系、对象）表示的提取事实。

4.2.QAGS (Asking and Answering Questions)

QAGS 通过从摘要中生成问题并使用源文件回答这些问题来评估摘要的质量。这些答案的准确性可以衡量摘要在多大程度上反映了原文的事实内容。

4.3.SummaC

SummaC 采用自然语言推理 (NLI) 方法来确定源文件在逻辑上是否意味着摘要。它使用了两个模型：SummaC-conv 是一个训练有素的模型，使用卷积层聚合蕴含得分；SummaC-zs 采用句子级得分的零点聚合。

4.4.ROUGE (Recall-Oriented Understudy for Gisting Evaluation)

ROUGE 指标检查摘要和原始文档在单字词（ROUGE-1）、双字词（ROUGE-2）和最长共同子序列（ROUGE-L）方面的重叠程度 Lin (2004)。ROUGE 评级是评估文本相似性的有用工具，尽管它们在事实方面并不总是准确的。

4.5.Novel Evaluation Using GPT 3.5 Turbo

4.5.1 Rationale for Using GPT in Evaluation

我们采用 GPT 3.5 Turbo，利用其先进的语言理解能力来评估精炼摘要。GPT 能够理解上下文并推断逻辑联系，因此非常适合评估事实一致性和识别幻觉。

4.5.2 Design of Evaluation Metrics with GPT

使用 GPT 进行的评估与旨在评估事实准确性和检测摘要中幻觉的提示相结合。这些提示具有多重作用，最初在 "方法论 "部分基于 GPT 的评估和改进过程中进行了描述：

幻觉评分： 我们重新使用方法论最后完善步骤中的提示，根据幻觉程度对摘要进行评分。该提示对幻觉程度的评估从 0 到 1，其中 0 表示摘要完全出现幻觉，1 表示没有幻觉。
详细分析： 在方法论部分使用的详细分析提示同样在此使用，以解释打分背后的原因，确保评估的全面性。

4.5.3 Comparison with Traditional Evaluation Metrics

与 ROUGE 等主要衡量文本重合度的传统指标不同，基于 GPT 的评估能更深入地了解摘要的语义和事实正确性。这种方法不仅能确保摘要与源文本的词汇相似，还能确保摘要与事实的准确性保持一致，从而更有效地解决幻觉这一关键问题。

5 Results

我们的分析旨在评估由提取法（DistilBERT）、抽象法（T5）和我们的混合方法生成的未精炼和精炼摘要的性能。包括 FactSumm、QAGS、GPT 3.5、SummaC 和 ROUGE 在内的评估指标提供了摘要质量的多方面视图，如柱状图所示（见图 2）。

5.1.Improvements in Factual Consistency and Hallucination Reduction

QAGS 和 FactSumm 的评估结果表明（见图 2），所有类型的摘要在提炼后分数都有所提高，其中抽象性摘要的提高最为明显。这表明，提炼过程有效地减少了幻觉内容，提高了事实的一致性。

使用 GPT 3.5 进行的评估显示，经过改进后，抽象摘要和混合摘要的得分有了显著提高。这一进步可归因于模型能够把握细微的语义关系，并识别出在完善过程中得到纠正的与事实不符的信息。

5.2.Varied Responses from SummaC and ROUGE Metrics

令人惊讶的是，经过改进后，SummaC 分数有所下降，尤其是抽象性摘要。这可能是因为 SummaC 指标使用自然语言推理（NLI）来评估摘要与原文之间的逻辑蕴涵。得分较低的原因可能是我们在提炼过程中加入了更复杂的句子结构或转述，与 SummaC 所期望的 NLI 模式不一致。这表明我们的提炼过程存在潜在的改进空间，以便更好地与基于 NLI 的评估方法保持一致。

在 ROUGE 指标方面，ROUGE-1 和 ROUGE-L 中提取式摘要的得分有所提高，而抽象式和混合式摘要的得分则出现了变化。ROUGE-2 的得分没有明显的提高趋势。ROUGE 套件主要评估摘要与原文之间的 n-grams 重合度，可能无法有效反映语义关系或事实准确性的质量。因此，具有更多转述信息的抽象型摘要并没有持续反映出改进后更高的 ROUGE 分数，尽管提取型摘要（与原文的联系更紧密）有所改善。

6 Statistical Analysis

本节通过统计方法来评估我们的文本摘要改进流程的效果，旨在确定观察到的改进是否具有统计意义，而不是由于随机变化造成的。我们采用配对 t 检验来比较提炼过程前后的评价指标得分，这种方法适用于分析两个相关样本。这种方法可评估配对观测值（改进前后的得分）之间的平均差异是否具有统计学意义。

6.1.Hypothesis Formulation

我们测试的零假设 $(H_0)$认为，经过提炼的摘要的平均得分不会高于未经提炼的摘要的平均得分。而备选假设 $(H_1)$ 则认为，经过提炼的摘要的平均得分会更高。

6.2.Results Interpretation

如表 1 所示，统计分析表明，若干指标在改进后有了显著改善 $(p<0.05)$，从而否定了 FactSumm、QAGS、GPT 3.5、ROUGE-1 和 ROUGE-L 等指标的零假设。95%置信区间一栏中的负值表明，这些指标的平均得分有了大幅提高，这说明改进是有效的。

相反，ROUGE-2 和 SummaC 没有达到统计显著性，P 值均高于 0.05，表明这些指标在改进后没有实质性改进。

6.3.Discussion and Implications

统计分析表明，根据大多数指标，我们的 "改进提示 "方法总体上提高了摘要的质量。不过，结果的差异性，尤其是 ROUGE-2 和 SummaC 的结果，还需要进一步研究。

抽象性摘要在提炼后的 SummaC 分数下降，加上 ROUGE-2 分数的不一致，表明提炼过程可能会以不同的方式影响不同类型的摘要。这可能是由于各种因素造成的，例如在提炼过程中引入了复杂的语言结构，而这些结构与这些指标所识别的高质量模式并不一致。这为今后改进摘要算法提出了重要的考虑因素，尤其是要确保与基于 NLI 的评估方法和词汇重叠度量标准保持一致。

研究结果突出表明，有必要制定一套全面的评价指标，以反映摘要质量的多面性，而不仅仅是词语重叠，还包括语义和事实的完整性。

6.4.Correlation Analysis

为了证实我们的假设检验，我们对改进前后的得分进行了相关分析。0.71 的正相关系数表明，改进前得分较高的摘要在改进后往往会有更明显的改进。散点图（图 3）清楚地显示了这一趋势，数据点被回归线有效地捕捉到，方程为 y = 0.83x + 0.17，这突出了通过改进过程提高分数的正向轨迹。

7 Discussion

对评估数据的分析揭示了摘要提炼过程性能的重要见解。虽然 FactSumm 和 QAGS 指标显示了提炼后的明显改善，但抽象性摘要的 SummaC 分数的下降表明，事实对齐和基于 NLI 的指标所识别的语义结构之间存在复杂的相互作用。ROUGE 分数的变化也凸显了类似的复杂性，这意味着词汇重叠并不总是与摘要质量的提高相关联。

这些结果引发了对当前摘要评估指标是否适当的讨论。严重依赖词汇重叠的指标可能无法充分表达改进摘要的本质，尤其是在使用高级语言模型进行提炼时。这就强调了进一步研究的必要性，以创建更复杂的评估框架，更好地识别基于语言模型的摘要提炼的细微差别。

结果还凸显了上下文和事实一致性在评估摘要质量时的重要性，而在这一领域，像 GPT 这样的大型语言模型表现尤为出色。随着摘要技术的不断发展，对与时俱进的评估方法的需求也日益明显。

总之，我们的研究结果肯定了高级语言模型在改进文本摘要方面的潜力，但同时也强调了采用更细致的方法对其进行评估的必要性。今后的工作重点是进一步完善这些方法，并探索能更准确地反映所生成摘要质量的评价指标。

8 Conclusions

我们生成了摘录式、抽象式和混合式摘要，随后使用基于 GPT 的创新流程对其进行了完善。我们方法中的这种新方法有望克服传统的摘要限制，特别是在减少幻觉和提高事实一致性方面。我们的评估结果表明，在多个指标上都有明显改善，证明了我们的改进在提高摘要质量方面的有效性。然而，SummaC 和 ROUGE-2 等指标的不同反应凸显了摘要评估中持续存在的挑战，表明我们需要能更好地适应高级语言模型所带来的复杂性的评估框架。未来，我们希望改进这些评估方法，提供更准确的摘要质量评估，确保我们在摘要技术方面的进步能够得到充分实现和适当验证。