谷歌：LLM基于规划指导RAG检索过程

📖标题：Analysis of Plan-based Retrieval for Grounded Text Generation
🌐来源：arXiv, 2408.10490

摘要

🔸在文本生成中，幻觉是指产生看似连贯但与已知知识相矛盾的文本。一个引人注目的假设是，当语言模型面临超出其参数知识范围的生成任务（由于稀有性、新颖性、领域等因素），就会产生幻觉。解决这个限制的常见策略是为语言模型注入检索机制，为模型提供相关的任务知识。
🔸在本文中，我们利用指令调节的LLMs的规划能力，分析规划如何用于指导检索，以进一步减少幻觉的频率。我们在长篇本文生成任务上实证评估了我们提出的方法的几个变体。通过提高相关事实的覆盖范围，计划引导的检索和生成可以产生更具信息性的响应，同时提供更高的归属率给源文件。

🛎️文章简介

🔸研究问题：将检索机制和语言模型结合时，是否有其他机制能进一步减少生成文本时的幻觉现象？
🔸主要贡献：论文提出并验证了基于规划的检索方法，显著提高了生成文本的基于事实的准确性，并通过实验展示了这种方法在不同模型和数据集上的有效性。

📝重点思路

🔺相关工作

🔸验证归因：说明一段文本可归因于给定来源，已用于设计数据集和模型，以自动预测输出是否基于所提供的来源。
🔸生成归因文本的检索：LLM合成有关其参数知识之外的事实文本，事后验证其检索证据。
🔸长格式生成的规划：生成之前的规划，有助于提高模型输出的真实性和质量。

🔺论文方案

🔸第一步-检索规划：给出初始提示后，LLM首先规划处一个推理链条，概述要编写的片段，以指导检索过程。
🔸第二步-执行检索：为每个片段生成检索，用于源文档的细粒度检索。
🔸第三步-生成响应：根据规划、查询和检索到的文档，生成最终的响应结果。
🔸第四步-消融实验：比较不同的检索策略，如基于规划的检索和单一检索，以及如何将检索到的事实融入上下文。

🔎分析总结

🔸基于规划的检索方法能够显著提高生成文本的基于事实的准确性，减少幻觉现象。
🔸检索到的信息对最终模型响应的基于事实性有重大影响，而提示的措辞影响较小。
🔸包含无法回答的搜索查询（并明确标记为无法回答）有助于减少生成不基于事实的输出。
🔸在不同模型和数据集上，基于规划的检索方法均显示出优于传统检索方法的性能。

💡个人观点

论文的核心是基于规划做检索，通过指导检索过程和优化事实的融入方式，显著提高了生成文本的基于事实的准确性。

附录