蚂蚁：基于LLM双摘要的迭代式RAG框架

📖标题：Retrieve, Summarize, Plan: Advancing Multi-hop Question Answering with an Iterative Approach
🌐来源：arXiv, 2407.13101

🛎️文章简介

🔸研究问题：在多跳问答场景中，传统RAG技术在单一检索迭代中无法聚合所有关键信息，导致答案不完整或不正确。
🔸主要贡献：论文提出了一种名为ReSP的迭代式RAG方法，通过压缩检索到的文档信息并生成当前子问题的回答，解决了多轮检索导致的上下文过载和重复规划问题。

📝重点思路

🔺相关工作

🔸RAG是通过从外部数据库检索相关文档，并将其集成到生成过程中来增强LLM，近期研究可分为单轮和迭代两种方案。
🔸多跳问答场景中，迭代RAG通常会取得更好的结果，因为它允许对问题进行详细分解。
🔸由于迭代次数的增加，迭代RAG在长上下文处理中面临挑战。

🔺ReSP概述

🔸ReSP框架由推理器、检索器、摘要器和生成器四个组件构成。
🔸推理器、检索器和生成器都基于无需微调的LLM，由提示工程执行任务，与传统的迭代RAG方法类似。
🔸摘要器的目标是解决上下文过载和冗余规划，在压缩信息的同时避免重复迭代。
🔸因此提出了双功能摘要器，不仅生成与问题相关的全局证据信息，还要生成当前子问题的响应来控制迭代。

🔺ReSP推理

🔸给定一个查询和一个文档语料库，检索器查询到topk个相关文档。
🔸摘要器将这些文档进行摘要创建，并更新内存队列。
🔸推理器确定当前信息是否足以解决总体问题，不够的话则产生子问题。
🔸子问题再次执行检索、摘要和推理步骤，直至信息足够。
🔸生成器拿到全部内存队列，输出答案。

🔎分析总结

🔸ReSP在多轮问答任务中显著优于其他单轮和迭代式RAG方法，可以更全面地捕获信息，并且具有良好的上下文长度鲁棒性。
🔸摘要生成在单轮RAG中也表现出优越性能，验证了摘要生成在信息压缩中的有效性。
🔸增大模型规模，规划器会导致步骤过多影响迭代，摘要器会提取大量无关信息，只有生成器有提升。

💡个人观点

论文结合多轮检索和摘要生成，提出了一种迭代RAG方法，解决了信息过载和重复规划问题。

附录