浙大：滑动窗口和自洽提高LLM摘要可信度

📖标题：Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency
🌐来源：arXiv, 2407.21443

摘要

虽然大型语言模型在各种任务中表现出了惊人的性能，但它们仍然受到被称为“幻觉”的事实不一致问题的困扰。例如，LLM偶尔会生成与源文章不同的内容，并倾向于提取出现在上下文开头和结尾的信息，尤其是在长文本摘要中。受这些发现的启发，我们提出了一种改进LLM在摘要中忠实性的方法，即通过推动它们更公平、更忠实地处理整篇文章来实现。我们提出了一种新的摘要生成策略，即SliSum，它利用了滑动窗口和自一致性的思想。具体而言，SliSum将源文章分成重叠的窗口，并利用LLM为窗口中的内容生成本地摘要。最后，SliSum使用聚类和多数投票算法聚合所有本地摘要，以产生更忠实的整篇文章摘要。广泛的实验表明，SliSum显著提高了各种LLM的忠实性，包括LLaMA-2、Claude-2和GPT-3.5，在短文本和长文本摘要中，同时保持其流畅性和信息性，而不需要额外的微调和资源。我们还进行了定性和定量研究，以调查SliSum的工作原理和超参数对性能的影响。

🛎️文章简介

🔸研究问题：如何提高大语言模型（LLM）在长文档摘要中的事实一致性。
🔸主要贡献：论文提出了一种新的摘要生成架构SliSum，通过滑动窗口和自洽性来提高LLM的事实一致性，无需额外资源和微调。

📝重点思路

🔺相关工作

🔸摘要中的事实一致性：包括对比学习 、对抗学习、文本学习、蕴含和译后编辑，但不适合长文本。
🔸减轻LLM幻觉：包括RAG、后处理模型、提示工程和自我监督学习，但都需要额外的训练或外部知识。
🔸LLM长文本：包括解码策略、上下文压缩和并行窗口等，都没解决自洽性问题。

🔺论文方案

🔸滑动生成：使用滑动窗口，无需严格等长，窗口之间会存在重叠，源文章被分成多个段落，每个段落都生成局部摘要，开头和结尾会重复生成几次。
🔸事件过滤：将所有摘要划分为句子，然后使用DBSCAN根据词汇相似性进行聚类，根据MinPts过滤掉不重要和幻觉的语句，以提高摘要的简洁性和相关性。
🔸矛盾检测和句子聚合：生成局部摘要后，使用LLM根据语义将句子分为不同的类别，进行排序和聚合后生成最终的摘要。

🔎分析总结

🔸SliSum架构能够有效地提高LLM在长文档摘要中的事实一致性。
🔸通过滑动窗口和事件过滤，SliSum能够减少幻觉和噪声，生成更准确和一致的摘要。
🔸SliSum在多个数据集上（如CNN/DM、XSum、arXiv和PubMed）的表现优于现有方法。

💡个人观点

论文通过滑动窗口构建局部摘要，并通过聚类思想得到自洽性。

附录