南大：提高LLM在多跳问答的RAG效率

📖标题：EfficientRAG: Efficient Retriever for Multi-Hop Question Answering
🌐来源：arXiv, 2408.04259

摘要

本文提出了一种高效的检索器EfficientRAG，用于解决检索增强生成（RAG）方法在处理多跳查询等复杂问题时遇到的困难。虽然迭代检索方法通过收集额外信息提高了性能，但目前的方法通常依赖于多次调用大型语言模型（LLM）。EfficientRAG迭代生成新的查询，无需在每次迭代中调用LLM，并过滤掉不相关的信息。实验结果表明，EfficientRAG在三个开放领域的多跳问题回答数据集上超过了现有的RAG方法。

🛎️文章简介

🔸研究问题：如何提高大语言模型（LLM）在多跳问答系统中的检索效率。
🔸主要贡献：论文提出了EfficientRAG框架，通过迭代生成新查询并减少对LLM的依赖，提高了检索效率和问答准确性。

📝重点思路

🔺相关工作

🔸RAG技术已被广泛采用，从外部资源检索知识，为生成的响应奠定基础。
🔸单轮RAG方法可能会在复杂问题中失败，因为除了第一轮检索的信息之外还需要更多信息，例如多跳问题。
🔸为了处理复杂的多跳问题，最近的工作提出通过多轮检索或推理来获取所需信息，但增加了延迟并需要专门的提示。

🔺论文方案

🔸架构：EfficientRAG是一种即插即用的方法，由标记器（Labeler & Tagger）和过滤器（Filter）组成，这些组件的模型结构相同。
🔸训练：利用LLM来合成训练数据，该过程包括多跳问题分解、标签标记、下一跳问题过滤和负采样。

🔺推理步骤

🔸步骤1：给定一个查询，检索器从数据库中获取相关文档片段。
🔸步骤2：标记器负责从数据库中获取相关片段，在标记相关标签的同时，判断这些片段是否有助于回答查询。
🔸步骤3：过滤器根据标记的令牌和当前查询构建新的查询，以便进行下一轮检索。
🔸步骤4：通过迭代过程，EfficientRAG框架能够有效地生成新查询，直到获取足够的信息来回答初始问题。

🔎分析总结

🔸EfficientRAG框架，相较于其他迭代方法，实现了60%-80%的时间效率提升，同时保持了相似的GPU利用率。
🔸EfficientRAG框架达到了最高的准确率和最先进的问答生成性能。
🔸EfficientRAG框架在不同数据集上的适应性表现良好，即使在跨域实验中，也能在某些情况下超越在原始数据上训练的模型。

💡个人观点

论文通过迭代生成新查询，尽量减少对LLM的查询，显著提高了多跳问答系统的检索效率和问答准确性。

附录