Search-R1：让大模型学会“检索+推理”的新范式

最新推荐文章于 2025-04-15 22:29:22 发布

小马不会过河

最新推荐文章于 2025-04-15 22:29:22 发布

阅读量785

点赞数 28

文章标签：网络运维服务器人工智能学习

本文链接：https://blog.csdn.net/m0_59163425/article/details/146390515

版权

今天分享一篇伊利诺伊大学的文章，标题为：Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning（Search-R1：利用强化学习训练LLM进行推理并利用搜索引擎）。

这篇文章是关于如何训练大型语言模型（LLMs）有效地利用搜索引擎来增强其推理和文本生成能力。论文提出了一个名为SEARCH-R1的框架，该框架仅仅通过强化学习（RL）让LLM学习如何在逐步推理过程中自主生成搜索查询并与实时检索交互。
该方法特点总结如下：1）使用检索token mask技术稳定RL训练，2）支持多轮交错推理和搜索，以支持复杂的任务解决，3）设计了一个简单而有效的基于结果的奖励函数。通过在七个问答数据集上的实验，SEARCH-R1在三个LLM上实现了相对于SOTA基线的显著性能提升。

一、概述

Title: Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning
URL: https://arxiv.org/abs/2503.09516v1
Authors: Bowen Jin, Hansi Zeng, Zhenrui Yue, Dong Wang, Hamed Zamani, Jiawei Han
Institutions: University of Illinois at Urbana-Champaign, University of Massachusetts Amherst
Code: https://github.com/PeterGriffinJin/Search-R1

1 Motivation

大型语言模型（LLMs）在复杂推理和从外部来源检索最新信息方面面临挑战（LLM非常吃外部的检索知识）。
现有的LLM与搜索引擎集成方法缺乏复杂的多轮检索 灵活性或需要大规模的监督数据 。
提示工程方法在推理时利用LLM来使用搜索引擎并不理想，因为LLM没有学会如何以最佳方式与搜索引擎交互。
总结：Å（将DeepSeek R1的强化学习方法用于Search链路还没人做过!!! ）

2 Methods

SEARCH-R1通过强化学习让LLM在推理时与搜索进行交互。将搜索作为环境的一部分，采用 multi-turn 检索，并用简单的 outcome-based reward。在多个问答数据集上效果显著。

详细方法和步骤:

论文提出了一种新的强化学习框架SEARCH-R1，使LLM能够以交错的方式与搜索引擎进行交互。具体步骤如下：

将搜索引擎建模为环境的一部分： SEARCH-R1将搜索引起作为环境的一部分，让模型与环境交互，从而得到 reward。
支持多轮检索和推理： SEARCH-R1通过特定的标签（, , , , , , , ）来支持多轮检索和推理。
采用 retrieved token masking: 为了稳定优化，SEARCH-R1采用 retrieved token masking, 只对LLM生成的 token 进行优化，检索的内容不参与优化。
优化算法兼容性： SEARCH-R1 与各种 RL 算法兼容，包括 PPO 和 GRPO。
简单结果奖励函数： 避免复杂的基于过程的奖励, 采用简单的基于结果的奖励函数 （字符串匹配作为reward!!!）。

3 Conclusion

SEARCH-R1在七个问答数据集上实现了显著的性能提升，平均相对提升达到26%（Qwen2.5-7B）、21%（Qwen2.5-3B）和10%（LLaMA3.2-3B）。
SEARCH-R1可以成功应用于基础模型和指令调整模型，并且在不同的LLM架构中具有通用性。
论文还深入分析了RL训练策略，包括RL方法选择、LLM选择和响应长度动态，为未来研究提供了有价值的见解。

4 Limitation

奖励机制的设计相对简单，仅依赖于最终结果的评估，可能无法充分捕捉到中间推理步骤的质量。
动态检索调整，基于不确定性的动态检索调整，需要进一步探索。

详细内容

1 SEARCH-R1 在多个数据集上始终优于baseline，包括 Qwen2.5-7B、Qwen2.5-3B 和 LLaMA3.2-3B

2 不同RL方法在不同基座模型上的影响

说明：展示了在四个 LLM 上使用 PPO 和 GRPO 作为基础 RL 方法训练 SEARCH-R1 的动态过程。
总结1：GRPO 通常收敛速度更快，但在某些情况下可能表现出不稳定性，而 PPO 提供了更稳定的优化，但收敛速度较慢。
总结2： GRPO 在训练 LLAMA3.2-3B-Instruct 模型时出现了奖励崩溃现象，而 PPO 在不同的 LLM 架构中保持稳定。

3 SEARCH-R1 在base model和instruct model的表现对比

总结1：指令模型收敛速度更快，并且初始性能更好，但两种模型的最终性能非常相似。
总结2：Instruction Tuning 加速了学习过程，但最终性能与基础模型相当。

4 检索token损失mask对效果提升非常大

总结1：(a) 响应长度在整个训练过程中呈现先减少、后增加、再稳定的趋势，与 LLM 的整体性能轨迹一致。
总结2：(b) 展示了检索到的 token 损失遮蔽研究，检索 token 损失遮蔽可以带来更大的 LLM 效果提升，减轻发生意外的优化效果，并确保更稳定的训练动态。

4 在七个不同数据集上使用 PPO 和 GRPO 的 SEARCH-R1 的性能对比

总结1：GRPO 通常优于 PPO，并且指令model优于base model。
总结2： Qwen2.5-3B 的最佳配置是 SEARCH-R1-Instruct (GRPO)，平均得分为 0.365。LLaMA3.2-3B 的最佳配置是 SEARCH-R1-Base (GRPO)，平均得分为 0.324。

9 Case Study: Search-R1能持续与真实数据进行交互

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述