【AI论文】ReaRAG：迭代检索增强生成中知识引导的推理提升大型推理模型的准确性

摘要：大型推理模型（LRMs）展现出卓越的推理能力，但主要依赖于参数化知识，这限制了其事实准确性。尽管近期的研究为基于强化学习（RL）的LRMs赋予了检索能力，但这些模型存在过度思考的问题，且在推理过程中缺乏鲁棒性，从而降低了它们在问答（QA）任务中的有效性。为解决这一问题，我们提出了ReaRAG，这是一种增强事实准确性的推理模型，能够在不过度迭代的情况下探索多样化的查询。我们的解决方案包括一个具有推理链长度上限的新型数据构建框架。具体而言，我们首先利用LRM进行深思熟虑的思考，然后从预定义的动作空间（搜索和结束）中选择一个动作。对于搜索动作，会针对检索增强生成（RAG）引擎执行查询，并将结果作为观察值返回，以指导后续的推理步骤。这一过程会不断迭代，直到选择结束动作为止。得益于ReaRAG强大的推理能力，我们的方法在多跳问答任务上超越了现有的基线模型。进一步的分析表明，ReaRAG具有强大的反思能力，能够识别错误并优化其推理路径。我们的研究在增强LRMs事实准确性的同时，有效地将鲁棒推理与检索增强生成（RAG）相结合。Huggingface链接：Paper page，论文链接：2503.21729

研究背景和目的

研究背景

随着自然语言处理（NLP）技术的不断进步，大型语言模型（LLMs）和大型推理模型（LRMs）已经在众多自然语言任务中取得了显著的成果。这些模型不仅能够生成连贯的文本，还展现出了强大的推理能力，可以在复杂的问题解决和生成任务中提供帮助。然而，尽管LRMs在推理任务中表现优异，它们主要依赖于参数化知识，这在处理需要高度事实准确性的任务时存在局限性。例如，在多跳问答（QA）任务中，模型需要整合来自多个不同文档的信息来回答问题，这超出了其内部知识库的范围。

传统的LRMs在缺乏外部知识源支持的情况下，往往难以生成准确且一致的事实性回答。为了弥补这一不足，近年来研究人员开始探索将检索增强生成（RAG）技术应用于LRMs，通过引入外部知识源来提升模型的事实准确性。然而，现有的基于RAG的LRMs仍然存在一些问题，如过度思考、推理不鲁棒等，这些问题在多跳QA任务中尤为明显。

研究目的

针对上述问题，本研究旨在提出一种名为ReaRAG（知识引导的推理增强大型推理模型）的方法，通过迭代检索增强生成和知识引导的推理来增强LRMs的事实准确性。具体研究目的包括：

1. 提升LRMs的事实准确性：通过引入外部知识源和迭代的检索过程，使LRMs能够在生成回答时参考更准确的事实信息，从而提高其在QA任务中的准确性。
2. 增强推理过程的鲁棒性：设计一种新型的推理框架，使模型能够在推理过程中不断反思和调整其策略，以应对复杂和多变的QA任务。
3. 开发高效的数据构建和模型训练方法：提出一种自动化的数据构建方法，用于生成包含知识引导推理链的训练数据，并通过监督微调（SFT）来训练ReaRAG模型。
4. 在多跳QA任务中取得突破：通过ReaRAG模型在多跳QA基准数据集上的性能评估，验证其在实际应用中的有效性和优越性。

研究方法

数据构建方法

1. 种子数据集：从现有的多跳QA基准数据集中抽取问题和对应的参考文档作为种子数据集。
2. LRM生成推理链：利用预训练的LRM（如QwQ-32B）对种子数据集中的问题进行推理，生成包含思考、动作和观察结果的推理链。推理链的长度被限制在一个预设的上限内，以防止无限迭代。
3. 数据过滤：通过比较推理链的最终答案与参考答案之间的F1分数，过滤掉那些生成错误答案的推理链，确保训练数据的质量。

ReaRAG模型训练

1. 模型架构：ReaRAG模型基于预训练的LRM进行微调，通过引入一个额外的动作选择模块来支持搜索和结束两种动作。
2. 损失函数：使用监督学习的方法来训练ReaRAG模型，损失函数仅计算与推理思考和动作相关的令牌上的损失，以提高模型的推理能力。
3. 推理过程：在推理阶段，ReaRAG模型首先根据输入问题生成一个初始的思考和动作，然后执行搜索动作并从RAG引擎中检索相关信息。检索结果作为观察值返回，用于指导后续的推理步骤。这一过程会不断迭代，直到模型选择结束动作为止。

推理链长度控制

为了防止模型在推理过程中过度迭代，我们在数据构建和模型训练阶段都设置了推理链长度的上限。这个上限是根据实验经验和模型性能综合考虑得出的，旨在平衡模型的推理深度和效率。

研究结果

实验设置

我们在四个多跳QA基准数据集（MuSiQue、HotpotQA、IIRC和NQ）上进行了实验，以评估ReaRAG模型的性能。为了进行公平的比较，我们还实现了一些现有的基线方法，包括基于上下文的检索、传统的RAG方法和先进的RAG方法。

主要结果

1. 性能比较：实验结果表明，ReaRAG模型在多跳QA任务上显著优于现有的基线方法。特别是在MuSiQue、HotpotQA和IIRC数据集上，ReaRAG在ACC_L指标上分别取得了66.00%、75.50%和42.75%的准确率，相比最先进的基线方法SearChain分别提高了14.5%、6.5%和2.25%。
2. 推理能力分析：进一步的分析表明，ReaRAG模型具有强大的反思能力，能够在推理过程中识别错误并优化其推理路径。这种能力使得ReaRAG在多跳QA任务中表现出色，尤其是在处理复杂和模糊的问题时。
3. 鲁棒性评估：实验还验证了ReaRAG模型在推理过程中的鲁棒性。即使在面对噪声数据和错误检索结果的情况下，ReaRAG也能够通过迭代的检索和推理过程来纠正错误并生成准确的答案。

研究局限

尽管ReaRAG模型在多跳QA任务中取得了显著的性能提升，但其研究仍存在一些局限性：

1. 动作空间有限：目前ReaRAG模型的动作空间仅限于搜索和结束两种动作。这限制了模型在处理需要执行复杂操作的任务（如代码编译、数学计算等）时的能力。未来研究可以探索扩展动作空间的方法，以增强模型的适应性和通用性。
2. 数据构建效率：虽然自动化数据构建方法提高了训练数据的生成效率，但仍有大量数据因无效或错误而被丢弃。这导致了计算资源的浪费和训练效率的降低。未来研究可以探索更高效的数据增强技术来提高数据构建的效率和质量。
3. 推理深度与效率权衡：ReaRAG模型通过迭代的检索和推理过程来生成准确的答案，但这增加了推理的深度和计算成本。在实际应用中，这可能导致推理延迟和效率问题。未来研究可以探索优化推理过程的方法，以在保持推理深度的同时提高推理效率。

未来研究方向

针对上述研究局限，未来研究可以从以下几个方面展开：

1. 扩展动作空间：探索为ReaRAG模型引入更多类型的动作（如执行、推理等），以增强其在处理复杂任务时的能力。这可以通过设计更灵活的动作表示和选择机制来实现。
2. 提高数据构建效率：开发更高效的数据增强技术，以减少无效数据的生成和计算资源的浪费。这可以通过引入更先进的自然语言处理技术（如文本生成、文本摘要等）来实现。
3. 优化推理过程：研究如何在保持推理深度的同时提高推理效率的方法。这可能涉及对检索引擎、推理算法和模型架构的优化和改进。
4. 跨领域应用：探索将ReaRAG模型应用于其他需要推理和事实准确性的领域（如法律、医学、金融等）。这可以通过调整模型架构和训练策略来适应不同领域的需求和挑战。

综上所述，本研究提出了一种名为ReaRAG的方法，通过迭代检索增强生成和知识引导的推理来增强LRMs的事实准确性。实验结果表明，ReaRAG在多跳QA任务中取得了显著的性能提升，并展现出了强大的反思能力和鲁棒性。然而，研究仍存在一些局限性，需要未来进一步探索和改进。