RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation

本文是LLM系列文章，针对《RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation》的翻译。

摘要

大型语言模型（LLMs）表现出非凡的生成能力，但经常出现幻觉。检索增强生成（RAG）通过整合外部知识提供了一种有效的解决方案，但现有方法仍面临几个局限性：单独检索器的额外部署成本、检索到的文本块中的冗余输入token，以及缺乏检索和生成的联合优化。为了解决这些问题，我们提出了RetroLLM，这是一个统一的框架，将检索和生成集成到一个单一的、有凝聚力的过程中，使LLM能够通过约束解码从语料库中直接生成细粒度的证据。此外，为了减轻约束证据生成过程中的错误修剪，我们引入了（1）分层FM索引约束，在证据生成之前生成语料库约束的线索来识别相关文档的子集，减少了无关的解码空间；以及（2）前瞻性约束解码策略，考虑未来序列的相关性以提高证据准确性。在五个开放域QA数据集上进行的广泛实验证明了RetroLLM在域内和域外任务上的卓越性能。该代码可在https://github/sunnynexus/RetroLLM