Agentic RAG-R1：让大模型从「检索助手」跃升为「思考+搜索王者」！

小天才学习机打游戏

于 2025-05-05 20:05:30 发布

阅读量396

点赞数 18

文章标签：人工智能知识图谱学习机器学习 transformer

本文链接：https://blog.csdn.net/m0_59164520/article/details/147721880

版权

Agentic RAG-R1 是由北京大学研发的一项开源研究项目，旨在推动语言模型在自主检索与推理能力方面的能力边界。该项目通过引入强化学习策略（GRPO），构建了一个可自我规划、检索、推理与总结的智能体式 RAG 系统。

核心亮点

Agentic RAG 架构：融合检索增强生成（RAG）与 Agentic AI 机制，模型不仅生成答案，还能“决定如何生成答案”。
强化学习优化（GRPO）：借助 Generalized Relevance Policy Optimization，让模型学会更合理地选择检索和推理步骤。
多轮推理与回溯能力：支持计划、回溯、总结等多种 agent 行为，实现人类式的问题解决流程。
LoRA 与量化支持：低成本微调与高效推理并存，轻松部署大模型至生产环境。
丰富奖励机制：引入格式、准确性、RAG 表现等多个维度的奖励，训练出更“懂业务”的智能体。

Github项目地址： https://github.com/jiangxinke/Agentic-RAG-R1

“模型自主、工具自选、推理自洽”——Agentic RAG-R1 用强化学习把 RAG 带进智能体时代。

📚 背景：为什么 RAG 需要 “Agentic”？

事实性：RAG 通过外部检索解决 “幻觉” 问题，但仍依赖人工提示来决定何时检索。
上下文爆炸：检索结果越多，拼接进上下文越长，反而稀释关键信息。
多跳推理：复杂任务需要 “查-思-查-思” 循环，仅一次检索难以覆盖。

Agentic RAG-R1 让模型在每一步“思考”时都能自主决定：

是否检索？ —— 省掉无关调用，提高效率
检索什么？ —— 人类不再手写复杂 prompt
如何引用？ —— 自动将证据融入推理链

🏗️ 体系结构：全面的 Agentic 思考

✨ 核心理念：两大王牌技术的强强联合

- 🔍 检索增强生成 (RAG)：在生成过程中即时从外部知识库检索信息，兼具语言模型的创造力与实时、可信的事实。

- 🤖 Agentic AI 智能体：让模型自主决定何时检索、检索什么，以及如何把检索证据编织进推理链，真正做到“会思考、会行动”。

🏗️ 架构：基于 TC-RAG 的智能体思考循环

目前支持如下动作：

#	动作	说明	状态
1	🤔 Reasoning（推理）	展开思考、提出假设	✅
2	🔄 Backtrack（回溯）	回到上一节点，修正思路	✅
3	📝 Summary（总结）	汇总已有证据，压缩上下文	✅
4	🛠️ Tool Observation（工具调用）	访问 Wiki / 文档 / 知识图谱等	✅
5	✅ Conclusion（结论）	输出最终答案	✅

🔬 技术细节深挖

Features ✨

组件	关键点	优势
GRPO (Generalized Relevance Policy Optimization)	采样多条推理-检索轨迹，对“高相关、高准确、高格式”路径赋正奖励	训练稳定、收敛快，避免 RLHF 里的 Reward Hacking
LoRA + NF4 量化	10 % 参数可训练，int-4 存储	GPU 省钱，多实验迭代无压力
Deepspeed Zero-3	权重 & 优化器拆分到 CPU / NVMe	3×A100 → 32B 轻松起飞
多模态工具接口	支持文本、代码、数据库、REST API	让模型在“真实工作流”里落地

奖励公式: (

其中 r_rag 由 RAGAS 自动评测检索片段是否被有效引用。

Rollout Generation 🔄

📊 结果：数据说话

数据集：MedQA（中英双语） | Judge Model：Qwen-2.5-72B

设置	格式准确率 ↑	答案准确率 ↑
微调前	39 %	84 %
微调前 + 检索	56 %	79 %
微调后 + 检索	92 % (+53 %)	87 % (+3 %)

跨语言：中/英两份测试集均显著提升
复杂推理：多跳问题正确率提升 8 % 以上
工具调用成功率：> 95 %，日志可追溯

实际测试结果：

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述