verl - 火山引擎大语言模型强化学习训练库

最新推荐文章于 2025-04-30 13:54:25 发布
最新推荐文章于 2025-04-30 13:54:25 发布
阅读量623 收藏 8
点赞数 28
分类专栏： # AI 开源项目 文章标签： 火山引擎 语言模型 人工智能 verl seed 强化学习 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovechris00/article/details/147463376
版权

在这里插入图片描述

本文翻译整理自：https://github.com/volcengine/verl

文章目录

一、关于 verl

verl 是由 字节跳动 Seed 团队 发起、verl 社区维护的强化学习训练库，专为大语言模型（LLM）设计，具有灵活、高效且生产就绪的特点。

verl 是论文 HybridFlow: A Flexible and Efficient RLHF Framework 的开源实现。

相关链接资源

关键功能特性

  • 灵活扩展多种 RL 算法：混合控制器编程模型可灵活表示并高效执行复杂的训练后数据流，仅需几行代码即可构建 GRPO、PPO 等 RL 数据流
  • 模块化 API 无缝集成现有 LLM 基础设施：解耦计算与数据依赖，轻松集成 FSDP、Megatron-LM、vLLM、SGLang 等框架
  • 灵活设备映射：支持将模型部署到不同 GPU 组以实现高效资源利用和集群扩展
  • 开箱即用的 HuggingFace 模型支持
  • 前沿吞吐性能：集成 SOTA LLM 训练/推理引擎，提供 SOTA 级 RL 吞吐
  • 3D-HybridEngine 高效执行器模型分片：消除内存冗余，显著减少训练与生成阶段切换时的通信开销

二、最新动态

  • [2025/05] verl 将亮相 GOSIM x PyTorch Day 2025，巴黎见！
  • [2025/04] 我们将在 ICLR 2025 Expo、SCI-FM workshop 和 LMSys afterparty 举办最新训练技术与编程指南教程，新加坡见！
  • [2025/04] Seed-Thinking-v1.5 技术报告发布！基于 verl 训练的模型在 AIME 2024 达 86.7 分，Codeforces 55.0 分，GPQA 77.3 分，展现卓越的 STEM 与代码推理能力
  • [2025/04] 正在开源 VAPO（基于价值的增强 PPO）配方，该方案从 Qwen-32B-base 训练，在 AIME 2024 达 60.4 分，超越 DeepSeek-zero-32B 和 DAPO-32B
  • [2025/03] verl v0.3.0.post1 发布！详见 release note
  • [2025/03] DAPO 开源算法基于 Qwen2.5-32B 预训练模型在 AIME 2024 达 50 分，超越 DeepSeek 的 GRPO (DeepSeek-R1-Zero-Qwen-32B)，完整训练代码现已在 recipe/dapo 提供

更多…

三、技术特性

  • 训练引擎支持 FSDP 和 Megatron-LM
  • 生成引擎支持 vLLM、SGLang 和 HF Transformers
  • 兼容 Hugging Face Transformers 和 Modelscope Hub 模型：Qwen-2.5、Llama3.1、Gemma2、DeepSeek-LLM 等
  • 监督微调支持
  • 强化学习算法支持：
  • 通过 DeepSpeed Ulysses 支持 Flash attention 2、序列打包、序列并行
  • 支持 LoRA 和 Liger-kernel
  • 可扩展至 700 亿参数模型和数百块 GPU
  • 实验追踪支持 wandb、swanlab、mlflow 和 tensorboard

四、快速开始

文档 : https://verl.readthedocs.io/en/latest/index.html"

快速入门：

PPO 示例分步指南：

可复现算法基线：

代码解析与高级用法（扩展）：

社区博客：

五、性能调优指南

策略性 RL 算法的性能至关重要，我们编写了详细的性能调优指南帮助优化性能。

六、升级至 vLLM >= v0.8.2

使用 FSDP 作为训练后端时，verl 现已支持 vLLM>=0.8.2。请参考此文档获取安装指南和更多信息。请避免使用 vllm 0.7.x 版本，该版本存在可能导致 OOM 和意外错误的缺陷。

七、使用最新 SGLang

verl 已全面支持 SGLang，SGLang RL 小组正着力构建独特功能，包括多轮代理 RL、VLM RLHF、基于服务器的 RL 和部分生成。请参考此文档获取安装指南和更多信息。

八、硬件支持：AMD (ROCM 内核)

verl 现已支持将 FSDP 作为训练引擎（即将支持 Megatron），并集成 vLLM 和 SGLang 作为推理引擎。请参考此文档获取安装指南和更多信息。

九、基于 verl 的优秀项目

  • TinyZero：复现 DeepSeek R1 Zero 推理任务方案的代码库

  • DAPO：完全开源的 SOTA RL 算法，击败 DeepSeek-R1-zero-32B

  • SkyThought：NovaSky AI 团队为 Sky-T1-7B 进行的 RL 训练

  • simpleRL-reason：SimpleRL-Zoo：探索与驯服开放基础模型的零样本强化学习

  • Easy-R1：多模态 RL 训练框架

  • OpenManus-RL：为多代理环境设计的 LLM 代理 RL 调优框架

  • deepscaler：通过 GRPO 实现迭代上下文扩展

  • rllm：使用 verl-pipeline 进行异步 RL 训练

  • PRIME：通过隐式奖励进行过程强化

  • RAGEN：通用推理代理训练框架

  • Logic-RL：在 2K Tiny Logic Puzzle 数据集上复现 DeepSeek R1 Zero

  • Search-R1：结合推理与**搜索（工具调用）**的交错式 LLM RL

  • ReSearch：通过强化学习让 LLM 学会推理与搜索

  • DeepRetrieval：通过 RL 让 LLM 操控真实搜索引擎和检索器实现信息检索

  • Code-R1：使用可靠奖励复现 代码 R1 方案

  • Skywork-OR1：Skywork 开放推理器系列

  • ToRL：扩展工具集成的 RL

    2025-04-23（三）

大规模语言模型从理论到实践 SFT模型和RL模型评估
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
06-23 300
大规模语言模型从理论到实践 SFT模型和RL模型评估 1.背景介绍 大规模语言模型（Large Language Models, LLMs）近年来在自然语言处理（NLP）领域取得了显著的进展。通过训练海量数据，这些模型能够生成高质量的文本，完成各种复杂的语言任务。本文将深
【DAPO算法原理详解：一个开源的LLM大规模强化学习系统】超越 DeepSeek GRPO的关键RL算法，字节、清华AIR开源DAPO
AI天才研究院
03-27 104
DAPO 在公平的RL端比较中，基于Qwen-32B-pretrain model与DeepSeek的GRPO RL对比情况，还介绍了多种试验及技术。关键要点包括：​1.DAPO性能优势：在纯RL端比较中，DAPO能beat DeepSeek的GRPO RL，内场alphaseed代码跑到47，更新数据resume到50，外场开源代码verl用老数据和老算法版本跑到45。​。
veRL：火山引擎的大型语言模型强化学习框架
步子哥的博客
01-31 2199
在人工智能的浪潮中，强化学习（Reinforcement Learning, RL）作为一种重要的学习方法，正在推动大型语言模型（Large Language Models, LLM）的发展。火山引擎（Volcano Engine）推出的veRL框架，正是这一领域的最新成果。veRL不仅灵活高效，而且为生产环境准备，旨在为大型语言模型的训练提供强大的支持。本文将深入探讨veRL的技术特点、应用场景以及其在AI领域的潜在影响。
SwanLab x verl：可视化LLM强化学习后训练教程
SoulmateY的博客
02-08 1950
verl是一个灵活、高效且可用于生产环境的强化学习（RL）训练框架，专为大型语言模型（LLMs）的后训练设计。它由字节跳动火山引擎团队开源，是HybridFlow论文的开源实现。verl目前已经被很多优秀的项目采用，如TinyZeroRAGENLogic R1等。verl 具有以下特点，使其灵活且易于使用：易于扩展的多样化 RL 算法：Hybrid 编程模型结合了单控制器和多控制器范式的优点，能够灵活表示并高效执行复杂的后训练数据流。用户只需几行代码即可构建 RL 数据流。
强化学习框架verl源码学习-快速上手之如何跑通PPO算法
yanqianglifei的专栏
04-21 857
GSM8K（Grade School Math 8K）是一个包含8,500个高质量、语言多样的小学数学文字问题的数据集。该数据集旨在支持需要多步推理的基础数学问题解答任务。
51c大模型~合集94
whaosoft~aiotの开发板商城
12-22 973
DeepSeek - R1 - Lite 的正确率为 0.611（33/54），o1 - preview 的正确率为 0.574（31/54），其他模型如 QwQ - 32B - Preview、K0 - math、InternThinker - Alpha 的正确率则相对较低，分别为 0.519（28/54）、0.426（23/54）、0.315（17/54）。最后，加强对模型可解释性的研究，探索有效的方法和技术，使模型的推理过程更加透明、可理解，增强用户对模型的信任和应用的可靠性。
企业级客户如何选择部署DeepSeek？4条路全解析
2401_84495872的博客
02-28 1246
2025开年以来，各路行业客户纷纷掀起了DeepSeek部署热潮，各种比学赶帮超…那么，怎样才能不落人后，快速把DeepSeek投入生产呢？目前看，主要有四种路径↓❶**优点：**本地部署开箱即用；**缺点：**满血版一次性采购成本较高，蒸馏版则可用度不够，未来模型迭代、算力扩容、系统维护、软硬件升级都受限。❷**优点：**可利旧，盘活闲置算力，本地化；**缺点：**模型适配、部署、优化有门槛，推理效果不可控。❸**优点：**成本极低，有多家服务商选择灵活，适合尝鲜或测试。
【Reading Notes】Favorite Articles from 2024
bryant_meng
01-17 2172
联手国内最知名的9名影视工作者：李少红（《大明宫词》）、贾樟柯（《三峡好人》）、叶锦添（《英雄本色》）、薛晓路（《不要和陌生人说话》）、俞白眉（《战狼2》）、董润年（《年会不能停！报告显示，在2023年的车载激光雷达市场，中国厂商依然是领跑全球，禾赛科技、速腾聚创、图达通、华为以及览沃等中国激光雷达供应商，合力拿下了全球84%的市场份额。Cruise的退出，反倒更好的证明，L4从技术体系、落地场景、商业模式、运营管理等等，都是和L2+完全泾渭分明的另一桩生意。英特尔第十一代「酷睿家族」终于登场了！
【DeepSeek-R1训练笔记】随手记录一些训练log
我的技术栈碎碎念空间
02-07 903
# 背景说明 * DeepSeek系列解读请移步我的上一篇blog：[【完整版】DeepSeek-R1大模型学习笔记（架构、训练、Infra）](https://blog.csdn.net/qq_16763983/article/details/145434745?spm=1001.2014.3001.5501) * 代码仓库【科大的大四老哥太太太太太值得倾佩了】：[https://github.com/Unakar/Logic-RL](https://github.com/Unakar/Logic-RL)
强化学习训练器
03-13
此外，用户可能需要更多的工具推荐，比如OpenAI Baselines、Stable Baselines3、Ray RLlib等，这些都是常用的强化学习库，可以补充到回答中。 用户的需求可能包括如何选择工具、具体的实现步骤以及学习资源。需要分...
伟世通与火山引擎深度合作 前沿AI智能座舱解决方案亮相上海车展
高工智能汽车
04-25 913
— 全球领先的汽车电子技术供应商与在联合举办新闻发布会，正式发布基于AI大模型的下一代智能座舱解决方案。该方案深度融合伟世通高性能域控平台与火山引擎豆包大模型的AI能力，重新定义人车交互体验，助力车企打造更智能、更个性化的未来座舱。
高压开关柜局部放电信号分析系统
m0_61057267的博客
04-28 1583
这个项目是我在2025年实现的高压开关柜局部放电信号分析系统，目的是通过采集分析局部放电信号，判断设备的工作状态和潜在故障。系统包含从信号模拟生成、特征提取、到深度学习模型训练的全流程，最终可自动生成分析报告。
远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升
YG_JT的博客
04-30 209
4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 2960
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
操作系统级竞争开启：AI Agent 能否成为人形机器人爆发的奇点？
最新发布
望获实时Linux系统
04-30 639
本文深入探讨了在人形机器人产业从“机械执行”向“自主决策”跃迁的背景下，实时操作系统（RTOS）与AI Agent融合对突破物理世界响应极限的关键作用，重点分析了望获实时Linux等国产RTOS的技术优势及其在不同领域的应用前景，同时客观阐述了产业面临的挑战与机遇，旨在为相关领域的学术研究和产业发展提供参考与借鉴。
GroundVLP论文精读
记录知识，分享知识
04-27 724
视觉定位是一项关键的视觉-语言任务，要求模型根据查询捕捉视觉上下文中的对象及其空间和属性信息。然而，由于视觉接地任务的标注数据受限于耗时且劳动密集的标注过程，导致训练模型的泛化能力受限，难以应对更广泛的领域。为解决这一挑战，我们提出了 GroundVLP，一种简单但有效的零样本方法，利用从图像-文本对和纯对象检测数据中获取的视觉接地能力，这两者相比视觉接地标注数据更易获取且覆盖更广的领域。GroundVLP 提出了一种融合机制，结合 GradCAM 的热图和开放词汇检测器的对象提议。
LabVIEW圆锥滚子视觉检测系统
bjcyck的博客
04-24 677
软件方面，采用LabVIEW和Vision Development Module进行图像处理和分析，软件架构设计以模块化为原则，便于后续的维护和升级。通过高效的硬件选型和优化的软件算法，系统能够快速准确地完成图像的采集、处理和分析。本视觉检测系统不仅提高了生产效率，还通过自动化检测显著提升了产品的一致性和质量。未来，该系统还可以根据具体的生产需求进行调整和优化，以适应更多的生产环境。通过集成高分辨率摄像头和先进的图像处理算法，系统能够自动识别和分类产品缺陷，从而减少人工检查需求，提高检测的准确性和速度。
RoPE 相对位置编码 VS 传统位置编码
ningyanggege的博客
04-29 898
我们先来想象一个场景：“我 爱 吃 苹果”你知道“我”是主语，“爱”是动词，“苹果”是宾语。为什么你能明白这些词之间的关系？因为你知道它们的顺序和位置！但对计算机来说，一开始它只知道这些词是哪些，并不知道它们在第几个位置这时候，我们就需要给每个词加上一个“位置说明书”——这就是位置编码！
AI Agent: MCP和AI Agent的联系
u011732210的博客
04-26 1020
MCP 协议重新定义了 AI 与物理世界的交互方式，通过标准化接口、双向通信和上下文感知能力，使 AI Agent 从 “孤立的智能体” 进化为 “可协作的生态节点”。随着 MCP 生态的成熟，AI 应用将实现 “一句话连接万物” 的愿景，推动智能体互联网（AgentNet）的诞生。开发者可通过 MCP 协议快速构建跨平台、跨领域的智能应用，而企业则能利用 MCP 实现流程自动化、数据资产化和决策智能化的深度转型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

编程乐园

请我喝杯伯爵奶茶~！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值