首个DeepSeek-R1全开源复现Open-R1来了

最新推荐文章于 2025-02-23 02:02:52 发布
最新推荐文章于 2025-02-23 02:02:52 发布
阅读量5.2k 收藏 23
点赞数 32
文章标签： 开源 大模型教程 人工智能 AI大模型 大模型 AI DeepSeek
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63171455/article/details/145373707
版权

Open-R1：huggingface出品，DeepSeek-R1的完全开源复现，短短一天已经冲上1.9k Star，这个仓库仍在建设中。

Open-R1的目标是构建DeepSeek-R1流程中缺失的部分，以便每个人都可以复现并在此基础上进行开发。项目设计简单，主要包含以下内容：

  • src/open_r1 包含用于训练和评估模型以及生成合成数据的脚本：

  • grpo.py：使用GRPO在给定数据集上训练模型。

  • sft.py：在数据集上对模型进行简单的SFT（监督微调）。

  • evaluate.py：在R1基准测试上评估模型。

  • generate.py：使用Distilabel从模型生成合成数据。

  • Makefile：包含针对R1流程中每个步骤的易于运行的命令，利用上述脚本。

Open-R1将以DeepSeek-R1技术报告为指导，该报告大致可以分为三个主要步骤：

  1. 第一步：通过从DeepSeek-R1中提取高质量语料库，复现R1-Distill模型。

  2. 第二步：复现DeepSeek用于创建R1-Zero的纯强化学习（RL）流程。这可能涉及为数学、推理和代码创建新的大规模数据集。

  3. 第三步：展示能够通过多阶段训练从基础模型过渡到经过RL调整的模型。

训练模型

支持使用DDP（分布式数据并行）或DeepSpeed ZeRO-2和ZeRO-3来训练模型。要切换训练方法，只需更改configs文件夹中加速器（accelerate）YAML配置文件的路径即可。

以下训练命令是针对配备8块H100（80GB）显卡的单个节点配置的。如果使用不同的硬件或拓扑结构，可能需要调整批量大小和梯度累积步数。

  • SFT阶段
accelerate launch --config_file=configs/zero3.yaml src/open_r1/sft.py \`    `--model_name_or_path Qwen/Qwen2.5-Math-1.5B-Instruct \`    `--dataset_name HuggingFaceH4/Bespoke-Stratos-17k \`    `--learning_rate 2.0e-5 \`    `--num_train_epochs 1 \`    `--packing \`    `--max_seq_length 4096 \`    `--per_device_train_batch_size 4 \`    `--per_device_eval_batch_size 4 \`    `--gradient_accumulation_steps 4 \`    `--gradient_checkpointing \`    `--bf16 \`    `--logging_steps 5 \`    `--eval_strategy steps \`    `--eval_steps 100 \`    `--output_dir data/Qwen2.5-1.5B-Open-R1-Distill

  • GRPO

accelerate launch --config_file configs/zero3.yaml src/open_r1/grpo.py \`    `--output_dir DeepSeek-R1-Distill-Qwen-7B-GRPO \`    `--model_name_or_path deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \`    `--dataset_name AI-MO/NuminaMath-TIR \`    `--max_prompt_length 256 \`    `--per_device_train_batch_size 1 \`    `--gradient_accumulation_steps 16 \`    `--logging_steps 10 \`    `--bf16

数据生成

  • 从一个小型蒸馏的R1模型生成数据

1块H100显卡，从deepseek-ai/DeepSeek-R1-Distill-Qwen-7B生成数据

  • 从DeepSeek-R1生成数据

使用了2个节点，每个节点配备8块H100显卡，从DeepSeek-R1模型生成数据

https://github.com/huggingface/open-r1

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

在这里插入图片描述

在这里插入图片描述

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。
在这里插入图片描述

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

Deepseek R1 Zero成功复现, 三阶段RL，Response长度涨幅超50%，涌现语言混杂，double-check
强化学习曾小健
02-05 799
这里有很多有意思的设置小细节和中间输出的观察，非常值得深入探索请等后续，几周内我们会写好完整文章~
一文搞懂DeepSeek - 开源模型R1
m0_65555479的博客
01-27 8028
*在多个基准测试中，DeepSeek-R1的表现优于或接近OpenAI o1。**）是什么？**********DeepSeek系列模型有哪些？******：一款在数学、代码及自然语言推理领域与OpenAI o1比肩的开源大模型，以其全面、详实的回答和结构化输出著称。**DeepSeek-V3：**凭借自研MoE模型和671B参数，在性能上超越所有已发布的开源模型，成为极具性价比的顶尖大模型之一。：专为视觉和语言理解设计的开源多模态模型，能够处理复杂场景下的逻辑、公式识别及自然图像等问题。
Open-R1：Deepseek-R1复现项目（包含SFT阶段、GRPO阶段代码详解）
sherlockMa的博客
02-07 7172
DeepSeek-R1的意义在于其通过创新的训练方法和技术突破，为大型语言模型（LLMs）在推理能力、训练效率和成本控制等方面树立了新的标杆。其采用的多阶段训练策略，结合冷启动数据微调、强化学习（RL）和监督微调（SFT），不仅显著提升了模型在复杂推理任务中的表现，还解决了传统单阶段训练方法难以克服的挑战。DeepSeek-R1的训练过程证明了强化学习可以有效提升模型的推理能力，同时其创新的GRPO算法大幅降低了训练成本，使得高性能推理模型的开发更加高效和经济。
首个DeepSeek-R1开源复现：Open-R1正式亮相
m0_65555479的博客
01-31 4030
Open-R1 由 huggingface 打造，旨在构建 DeepSeek-R1 流程中缺失的部分，让开发者能够复现并基于其进行二次开发。src/open_r1 文件夹：包含用于训练和评估模型以及生成合成数据的脚本。grpo.py负责运用 GRPO 算法在特定数据集上训练模型；sft.py用于执行模型的监督微调（SFT）；对模型进行 R1 基准测试评估；借助 Distilabel 从模型生成合成数据。Makefile：整合了 R1 流程各步骤的便捷运行命令，这些命令依托上述脚本，极大地简化了开发流程。
【DeepSeek】复现DeepSeek R1？快来看这个Open R1项目实践指南~
qq_38961840的博客
01-28 2907
虽然我们重点要谈 GRPO 和相关训练，但在那之前，还是得对 Open R1 项目的基本结构和运行方式做一个大致了解。项目内多处文件都提示，若想顺利运行，需要提前满足一些环境依赖。从以上可以看到，Open R1 给出了两个“示例奖励函数”——和。：对比回答与 gold solution 是否一致，用 parser 做一些 LaTeX 公式提取，然后判断是否相符。：纯粹检查字符串是否匹配某种模板，比如。在实际项目中，我们可能换成别的，比如针对对话安全性、对话流畅性或其他指标的打分模型，也可能是。
DeepSeek-R1复现方案解读之「Open-R1」
2401_85390073的博客
02-05 3399
整体grpo原理如下：‍分组采样：对每个问题 ，从旧策略 中采样一组输出 （组大小 比如为16或64）。优势计算：对每个输出 ，计算标准化优势值：其中 是输出 的奖励，优势值通过组内标准化消除全局奖励偏差。目标函数：最大化以下目标，同时约束策略与参考策略的KL散度：其中 控制策略更新的幅度， 调节KL散度惩罚项。奖励函数的设计与应用在模型训练过程中，奖励函数扮演着至关重要的角色，它们指导模型如何优化其行为以适应特定的任务需求。重要性。
DeepSeek-R1复现方案梳理
yanqianglifei的专栏
02-12 1252
在 100 步时，解方程的成功率约为 25%，并且模型开始用文字进行 “推理”;近日，来自UC伯克利的研究团队基于Deepseek-R1-Distilled-Qwen-1.5B，通过简单的强化学习（RL）微调，得到了全新的DeepScaleR-1.5B-Preview。由huggingface组建，目前刚上线2周，发布了最新进展open-r1/update-1，在MATH-500任务上接近deepseek的指标，可以在open-r1/open-r1-eval-leaderboard查看指标的排行榜。
【完整版】DeepSeek-R1大模型学习笔记（架构、训练、Infra、复现代码）
我的技术栈碎碎念空间
02-04 7478
MoE在每次推理时选择性地激活部分模型参数，在不成比例增加计算成本的情况下，可以扩展模型参数。在DeepSeek-V2中就提出了用于FFN层的DeepSeekMoE，DeepSeek-R1在DeepSeek-V2基础上进一步优化。
DeepSeek-R1技术报告
01-23
这项研究不仅开源了模型权重，还提出了两种主要模型：DeepSeek-R1-Zero和DeepSeek-R1，并对它们的区别进行了详细阐释。 #### 模型介绍 **DeepSeek-R1-Zero** 模型在进行强化学习（RL）训练前没有经过监督微调，...
DeepSeek-R1:大模型训练技术分析
NLP算法工程师，主要研究人机对话系统、机器翻译算法，文本生成、大模型等算法研究
02-11 1019
DeepSeek-R1的论文介绍中不仅描述了比较完整的技术实现路径，同时也提供了一些失败的实验尝试，这给其他厂商提供了完整的复现方式。先看一下大模型的效果。通过上图可以看到DeepSeek-R1大模型的实验结果几乎与OpenAi-o1-1217结果持平，在一些测试数据上（AIME 2024、MATH-500）评测结果甚至超过了后者。
三张图速通 DeepSeek-R1 论文和技术原理
zenRRan的博客
02-11 1263
知乎：木尧（已授权）链接：https://zhuanlan.zhihu.com/p/20538667476编辑：「深度学习自然语言处理」公众号总览最近在研究和复现 DeepSeek-R1（671B 参数 MoE，激活 37B 参数，128K 上下文的深度思考模型）论文，于是画了三张图来把整个论文核心内容总结一下，欢迎大家讨论！核心是三组模型：一是纯强化学习（后文简称 RL）方案训的 DeepSee...
【2025重磅发布】DeepSeek-R1正式登场：性能比肩OpenAI o1，开源全栈生态+MIT开源协议 | 推理模型API深度解析
热门推荐
猫头虎技术团队：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：CSDNWF，猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务！全网搜：猫头虎技术团队，点击文章底部名片或直接私信我一切皆可谈，快找虎哥！
01-23 7万+
【2025重磅发布】DeepSeek-R1正式登场：性能比肩OpenAI o1，开源全栈生态+MIT开源协议 | 推理模型API深度解析 2025年1月20日，人工智能领域迎来里程碑式突破！深度求索（DeepSeek）正式发布新一代推理大模型DeepSeek-R1，不仅实现与OpenAI最新o1正式版的性能对标，更以全栈开放的生态布局引发行业震动。作为首个遵循MIT License开源协议的高性能推理模型，R1的发布将如何重构AI开发者的技术生态？其独创的"思维链API接口"又会给企业级应用带来哪些革新？
全球都在复现DeepSeek R1，AI圈炸了！
2401_85390073的博客
01-27 1392
最近，AI圈被一个叫DeepSeek R1的模型刷屏了。这款由中国公司深度求索推出的开源大模型，凭借超低的训练成本和强大的性能，迅速成为全球科技界的“顶流”。从硅谷到学术界，从开发者到投资人，大家都在讨论它，甚至全球顶尖机构都在忙着复现它。这波热潮不仅让AI大模型的发展进入新阶段，也让我们对AI的未来有了更多想象。一、DeepSeek R1为啥这么火？低成本+高性能，真香！DeepSeek R1的厉害之处在于，它用了一种叫“强化学习”的技术，让模型在不需要大量标注数据的情况下，也能学会复杂的推理能力。
【LLM】R1复现项目（SimpleRL、OpenR1、LogitRL、TinyZero）持续更新
最新发布
发现问题，并解决问题，批判性思维
02-23 3068
（1）未来的工作需亟待解决： 支持大规模 RL 训练（PPO、GRPO 等）的开源基础框架 用于稳定训练的 GRPO 训练超参的自动化调优 RL 训练数据的配比（难度、领域、任务等） 基于 Instruct 模型训练 R1 时，高质量 long CoT 的数据获取 合适的惩罚函数设计以保证 CoT 思考链质量不退化 （2）应用在业务落地时，需要考虑： 模型在给定的 prompt 下，结合预训练的基本知识能否正确给出正确的推理结果。任何业务中的「潜规则」都需要显式地定义在 prompt 中，并尽可能避免与
刚刚，DeepSeek又开源R1部署最佳实践！
m0_70486148的博客
02-15 1010
嘿，大家好！这里是一个专注于AI智能体的频道~DeepSeek刚刚又发补给了，补给4件套。包含2个配置项，不要设置system prompt + temperature 设置为0.6。还有大家比较期待的官网的，接入搜索的R1的prompt设计及最佳用法！以及如何缓解R1系列模型绕过思考的解决办法。在DeepSeek 官网版本，没有使用系统提示词，而是为文件上传和网络搜索设计了两个特定的提示词以获得更好的用户体验。并且temperature设置为 0.6。
DeepSeek-R1-Zero的复现调试（swanlab观测实验过程）
weixin_44312617的博客
02-13 910
本文旨在对deepseek-r1-zero进行复现实验，详细介绍了从r1原理到代码实现，再到结果观测的整个过程。在实验中，采用了基石智算平台来实现GRPO（基于PPO的优化算法），并通过SwanLab监控实验过程，确保实验的每个阶段都能精确跟踪与调试。通过这一系列的实验步骤，本文希望帮助用户更好地理解基石智算平台的使用方式，并深入掌握GRPO的实现方法。希望读者在实验过程中能够加深对相关技术的理解，并能灵活应用于实际项目中。
DeepSeek R1复现
hang on it more longer
02-06 1144
UC伯克利博士生潘家怡和另两位研究人员在CountDown游戏中复现了DeepSeek R1-Zero，项目名为TinyZero。：通过强化学习（RL），验证了3B的基础语言模型能够自我验证和搜索，且成本不到30美金。，从而能够获得更高的分数。此外，还发现额外的指令微调（SFT）并非是必要的。
DeepSeek-R1：开源机器人智能控制系统的革命性突破
AngelCryToo的专栏
02-04 2658
DeepSeek-R1 是一款开源的机器人智能控制系统，专为机器人开发者设计。它结合了实时控制、传感器融合、路径规划和人工智能算法，能够为机器人提供从底层控制到高层决策的全栈解决方案。DeepSeek-R1 的目标是通过开源的方式，降低机器人开发的门槛，推动机器人技术的普及和创新。DeepSeek-R1 作为一款开源的机器人智能控制系统，凭借其强大的实时控制能力、多传感器融合能力和人工智能集成，正在成为机器人技术领域的重要力量。它不仅为开发者提供了高效、灵活的工具，还通过开源的方式推动了技术的民主化。
Deepseek-R1复现
02-23
### 如何复现 Deepseek R1 项目或模型 #### 下载并准备环境 为了成功复现 Deepseek R1 模型，可以采用直接拉取预训练模型的方式来进行初步测试。命令如下： ```bash ollama pull deepseek-r1:8b ollama run deepseek-r1:8b ``` 这允许用户快速启动模型而无需经历完整的训练过程[^2]。 #### 获取详细指导资料 对于更深入的理解以及全面复现整个开发流程，《复现DeepSeek-R1之Open R1实战》系列文章提供了详尽的操作指南和技术细节讲解。该系列覆盖了从基础概念到高级特性的多个方面，包括但不限于超参数调整、性能优化策略等内容[^3]。 #### 配置硬件与软件需求 虽然具体配置取决于所选路径（即是否通过云端服务如Google Colab 或本地GPU集群），但通常建议拥有至少一块支持CUDA 的NVIDIA GPU 来加速计算密集型任务；同时安装Python 及其科学计算库（NumPy, PyTorch 等）。如果计划利用分布式训练框架，则需额外考虑网络带宽等因素的影响。 #### 开始实验前的准备工作 在实际动手之前，阅读《复现DeepSeek-R1之Open R1实战》中的相关章节可以帮助理解各个组件的工作原理及其相互关系。特别是关于SFT (Supervised Fine-Tuning) 和 GRPO (Generalized Recursive Policy Optimization) 的部分，这些技术构成了Deepseek R1的核心机制之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值