【每日论文】ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning

下载PDF或查看论文，请点击：

LlamaFactory - huggingface daily paper - 每日论文解读 | LlamaFactory | LlamaFactory探索LlamaFactory，为你解读AI前沿技术文章，快速掌握最新技术动态https://www.llamafactory.cn/daily-paper/detail/?id=1785

摘要

大型语言模型（LLMs）在推理方面展现出卓越的能力，例如OpenAI-o1和DeepSeek-R1的成功。然而，将推理与外部搜索过程相结合仍然具有挑战性，尤其是在需要多个检索步骤的复杂多跳问题中。我们提出了一种名为ReSearch的新框架，通过强化学习训练LLMs进行搜索推理，而不使用任何关于推理步骤的监督数据。我们的方法将搜索操作视为推理链的组成部分，何时以及如何进行搜索由基于文本的思考指导，而搜索结果随后影响进一步的推理。我们在Qwen2.5-7B(-Instruct)和Qwen2.5-32B(-Instruct)模型上训练了ReSearch，并进行了广泛的实验。尽管仅在一个数据集上进行了训练，但我们的模型在各种基准测试中表现出强大的泛化能力。分析显示，ReSearch在强化学习过程中自然地激发了高级推理能力，如反思和自我纠正。

一句话总结

本文提出了一种名为ReSearch的框架，通过强化学习训练大型语言模型（LLM）进行搜索辅助推理，从而提升LLM在复杂多跳问答任务中的表现。

问题1：这篇论文想要解决什么具体问题？

• 问题背景：现有的LLM在多步推理和搜索结合的复杂问题处理中存在挑战，尤其是对于需要多次检索步骤的多跳问题。
• 现有方案不足：现有的多步检索增强生成（RAG）方法大多依赖手动设计的提示或启发式方法，缺乏可扩展性，且难以标注推理步骤。
• 研究目标：提出ReSearch框架，通过强化学习训练LLM进行搜索辅助推理，无需任何关于推理步骤的监督数据。

问题2：论文的核心创新点是什么？

• 技术创新：将搜索操作视为推理链的组成部分，通过文本思维引导搜索时机和方式，并使搜索结果影响后续推理。
• 方法改进：采用强化学习（GRPO）训练LLM进行搜索辅助推理，无需标注数据。
• 优势：无需监督数据，能够自然地激发高级推理能力，如反思和自我纠正。

问题3：实验结果如何验证了方法的有效性？

• 关键实验：在多跳问答基准上进行实验，包括HotpotQA、2WikiMultiHopQA、MuSiQue和Bamboogle。
• 性能提升：ReSearch在所有基准上都取得了显著的性能提升，平均绝对改进范围从8.9%到22.4%。
• 对比结果：与基线方法相比，ReSearch在精确匹配和LLM-as-a-judge指标上均取得了显著改进。

问题4：这个研究的实际应用价值是什么？

• 应用场景：适用于需要复杂推理和搜索的领域，如问答系统、知识图谱和智能客服等。
• 实施建议：使用Qwen模型进行训练，并在实际应用中结合具体任务进行调整。
• 局限与展望：目前主要针对多跳问答任务，未来可扩展到更多领域，并探索引入更多类型的工具以增强LLM的推理能力。