【大模型LLMs】LLMs-based Summarization研究进展梳理

梳理基于大模型的摘要总结方案，持续汇总中（更关注query-focused summarization）

Survey

论文： A Comprehensive Survey on Process-Oriented Automatic Text Summarization with Exploration of LLM-Based Methods
来源： arxiv 2024（投稿TKDE）
作者单位： 西南财经大学
核心结论： 大模型的ATS（Automatic Text Summarization）主要分3类（知识蒸馏、大模型微调、提示工程）

1 Knowledge Distillation from LLMs

Referee

论文： REFEREE: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation
来源： EMNLP 2022
作者单位： University of Washington、Carnegie Mellon University、Allen Institute for Artificial Intelligence
核心结论： 提出一种在无参考（reference-free）的情况下进行训练的句子摘要框架，同时允许直接控制压缩比

具体流程：

• 知识蒸馏： 遵循teacher-student架构，但student模型在连续迭代中轮流成为teacher
  
• 过滤器：
  • 保真度过滤器（摘要应该包含在输入句子中）
  • 长度过滤器（通过限制压缩比）
  • 上下文过滤器（基于NSP任务）

InheritSumm

论文： InheritSumm: A General, Versatile and Compact Summarizer by Distilling from GPT
来源： EMNLP 2023
作者单位： 微软
核心结论： 基于GPT3.5生成摘要，和高质量的人工标注文档一起作为训练语料，用于训练small LM

2 Prompt Engineering

2.1 Template Engineering

OdSum

论文： ODSum: New Benchmarks for Open Domain Multi-Document Summarization
来源： arxiv 2023
作者单位： 浙江大学、耶鲁大学、Allen Institute for AI
核心结论： 提供一个open-domail multi-document summarization数据集，采用retrieve-then-summarize的pipeline，对多篇文档进行summarization

2.2 CoT

SumCoT

论文： Element-aware Summarization with Large Language Models: Expert-aligned Evaluation and Chain-of-Thought Method
来源： ACL 2023
作者单位： 上海交通大学
核心结论： 将“Lasswell Communication Model”引入摘要模型，首先让大模型回答一系列问题（最重要的实体entity、最重要的时间date、什么事件event、事件结果result），进而完成summarization（element-aware），总结时需要注意流畅性（拼写、语法等问题）、连贯性（前后连贯，上下文）、一致性（无幻觉）、相关性（找到文本的核心关注点）

CoD

论文： From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting
来源： ACL WorkShop 2023
作者单位： 哥伦比亚大学、麻省理工大学
核心结论： Chain of Density，基于提示的迭代方法。prompt中提示“总结越来越简洁、实体密集”，通过多次生成摘要，每次都“反思”上一次摘要中遗漏的实体，然后编写新的、越来越密集的摘要，涵盖识别到的每个实体

SuRe

论文： SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs
来源： ICLR 2024
作者单位： Carnegie Mellon University、KAIST AI、University of Michigan、Naver AI Lab、Naver Cloud
核心结论： 针对候选答案，由LLMs为参考答案汇总支撑条件，再进行验证（critique的效果）

SliSum

论文：Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency
来源： IREC-COLING 2024
作者单位： 浙江大学
核心结论： LLMs提取摘要可能更倾向于提取开头结尾的内容，尤其在长摘要里；针对该问题，SliSum通过滑动窗口和self-consistency的思想，对每个窗口的内容生成局部摘要，然后使用聚类和投票法聚合所有的局部摘要

Refiner

论文：Refiner: Restructure Retrieval Content Efficiently to Advance Question-Answering Capabilities
来源： arxiv
作者单位： 香港科技、清华、香港理工
核心结论： 对检索的内容进行重写，提取查询相关内容以及必要的上下文，并进行分段处理

• 知识蒸馏： 多个大模型提取输入内容中与query相关内容的完整上下文，构建训练集

• 微调： 对Llama-2-7B进行SFT得到refiner（随着prompt长度的增加，参数量更大的模型微调的计算成本更高，所以选择参数量小的模型）