📖标题:Analysis of Plan-based Retrieval for Grounded Text Generation
🌐来源:arXiv, 2408.10490
摘要
🔸在文本生成中,幻觉是指产生看似连贯但与已知知识相矛盾的文本。一个引人注目的假设是,当语言模型面临超出其参数知识范围的生成任务(由于稀有性、新颖性、领域等因素),就会产生幻觉。解决这个限制的常见策略是为语言模型注入检索机制,为模型提供相关的任务知识。
🔸在本文中,我们利用指令调节的LLMs的规划能力,分析规划如何用于指导检索,以进一步减少幻觉的频率。我们在长篇本文生成任务上实证评估了我们提出的方法的几个变体。通过提高相关事实的覆盖范围,计划引导的检索和生成可以产生更具信息性的响应,同时提供更高的归属率给源文件。
🛎️文章简介
🔸研究问题:将检索机制和语言模型结合时,是否有其他机制能进一步减少生成文本时的幻觉现象?
🔸主要贡献:论文提出并验证了基于规划的检索方法,显著提高了生成文本的基于事实的准确性,并通过实验展示了这种方法在不同模型和数据集上的有效性。
📝重点思路
🔺相关工作
🔸验证归因:说明一段文本可归因于给定来源,已用于设计数据集和模型,以自动预测输出是否基于所提供的来源。
🔸生成归因文本的检索:LLM合成有关其参数知识之外的事实文本,事后验证其检索证据。
🔸长格式生成的规划:生成之前的规划,有助于提高模型输出的真实性和质量。
🔺论文方案
🔸第一步-检索规划:给出初始提示后,LLM首先规划处一个推理链条,概述要编写的片段,以指导检索过程。
🔸第二步-执行检索:为每个片段生成检索,用于源文档的细粒度检索。
🔸第三步-生成响应:根据规划、查询和检索到的文档,生成最终的响应结果。
🔸第四步-消融实验:比较不同的检索策略,如基于规划的检索和单一检索,以及如何将检索到的事实融入上下文。
🔎分析总结
🔸基于规划的检索方法能够显著提高生成文本的基于事实的准确性,减少幻觉现象。
🔸检索到的信息对最终模型响应的基于事实性有重大影响,而提示的措辞影响较小。
🔸包含无法回答的搜索查询(并明确标记为无法回答)有助于减少生成不基于事实的输出。
🔸在不同模型和数据集上,基于规划的检索方法均显示出优于传统检索方法的性能。
💡个人观点
论文的核心是基于规划做检索,通过指导检索过程和优化事实的融入方式,显著提高了生成文本的基于事实的准确性。
附录