OpenRLHF：大规模分布式RLHF训练系统介绍

最新推荐文章于 2025-04-22 22:36:37 发布
最新推荐文章于 2025-04-22 22:36:37 发布
阅读量838 收藏
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247529101&idx=1&sn=dafb1342af7932b5c1153b72a9383949&chksm=ea1ae2042183b9923d599a8e91fd4588bb2f9fe6d9c900fb764a16f32073ab13da4ceb57e26a&scene=126&sessionid=0
版权

65df8611ddb21337fd2f4fae07a49c61.png

主题

大规模分布式RLHF训练系统介绍

时间

2024.9.1 10:30-11:30 周日

入群

6d448e00fe44d23fe91fdb39eb2e2a53.png

大纲

1. RLHF背景知识

2. RLHF性能分析

3. 基于DeepSpeed的TRLX/TRL/LMF

4. 基于Megatron的RLHF

5. 基于Ray和vLLM的OpenRLHF

6. RLHF调参细节优化

引言

随着大规模语言模型（LLMs）通过扩展定律不断增长，基于人类反馈的强化学习（RLHF）因其卓越的性能而受到广泛关注。然而，与单一模型的预训练或微调不同，将基于人类反馈的强化学习（RLHF）扩展到训练大型语言模型时，会在协调四个模型的过程中面临挑战。我们推出了OpenRLHF，一个支持70B以上模型的大规模RLHF训练的开源框架。与现有的将四个模型切分后放在相同GPU上的TRLX/TRL/LMF等框架不同，OpenRLHF重新设计了模型调度方案，利用Ray、vLLM和DeepSpeed优化资源利用率和训练性能。和基于Megatron-LM的RLHF方案相比，OpenRLHF可以无缝集成Hugging Face models和datasets，确保了用户友好性和代码的简洁性和易修改性，提供了开箱即用的解决方案。

项目：https://github.com/OpenRLHF/OpenRLHF

简介

d712daf3d952346601bfb654ad2e65e6.jpeg

初七现在为某核弹厂高级工程师，主要关注方向为RLHF/LLM以及MLSys。早年主要做 MARL 相关研究，为 MARL 框架 pymarl2 的作者，现在业界负责某知名大模型分布式训练/推理框架的模型和系统联合优化。

zenRRan
关注
DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍
AI天才研究院
04-13 2万+
近日来，ChatGPT及类似模型引发了人工智能（AI）领域的一场风潮。这场风潮对数字世界产生了革命性影响。ChatGPT类模型具有惊人的泛用性，能够执行归纳、编程、翻译等任务，其结果与人类专家相当甚至更优。为了使ChatGPT等模型的训练和部署更轻松，AI 开源社区进行了各种尝试（例如 ChatLLaMa、Alpaca、Vicuna、Databricks-Dolly等）。
HybridFlow创新框架介绍
步子哥的博客
02-01 633
特性DeepSpeedOpenRLHF本工作参数分片策略静态双副本动态重组编程模型多控制器混合式层次化混合设备映射手动启发式自动优化恢复粒度节点级进程级算子级异构模型支持×△✓实验数据表明，HybridFlow在通信效率（+217%）、内存利用率（+61%）等核心指标上显著优于现有方案，特别是在大规模异构场景下表现突出。
大模型训练显存需求分析指南：从SFT到RLHF的实践之路
budahui的博客
10-06 3003
随着大模型技术的快速发展，越来越多的研究者和开发者开始尝试自己训练或微调大模型。然而，大模型训练最大的门槛之一就是算力资源，特别是GPU显存的需求。本文将从实践角度出发，详细分析大模型训练中的显存需求，帮助读者更好地规划自己的训练资源。
强化学习框架：OpenRLHF源码解读，模型处理
最新发布
个人Blog
04-22 741
本文主要介绍了在OpenRLHF中模型框架设计，主要分为3类模型：1、；2、；3、这三类模型中分别起到作用：1、直接更具prompt输出response；2、输出token的评分（3、返回整句输出评分（找出最后一个有效 token 的索引，然后从 value 向量中提取该位置的值作为 reward。
OpenRLHF-M：高性能的RLHF框架
gitblog_00056的博客
04-03 802
OpenRLHF-M：高性能的RLHF框架 OpenRLHF-M An Easy-to-use, Scalable and High-performance RLHF Framework designed for Multimodal Models. ...
开源新星：OpenRLHF——打造高效、灵活的强化学习对话框架
gitblog_00465的博客
08-15 1293
开源新星：OpenRLHF——打造高效、灵活的强化学习对话框架 OpenRLHFA Ray-based High-performance RLHF framework (for large models)项目地址:https://gitcode.com/gh_mirrors/op/OpenRLHF 在这个人工智能迅速发展的时代，高质量的自然语言处理系统已经成为研究和开发的焦点。OpenRLHF，...
OpenRLHF: 高性能强化学习微调框架指南
gitblog_00501的博客
08-13 1200
OpenRLHF: 高性能强化学习微调框架指南 OpenRLHFA Ray-based High-performance RLHF framework (for large models)项目地址:https://gitcode.com/gh_mirrors/op/OpenRLHF 目录结构及介绍 在OpenRLHF项目中, 下载并解压后的代码仓库主要包含以下关键目录和文件: 主要目录 sr...
探索高效强化学习的未来：OpenRLHF
gitblog_00034的博客
05-20 751
探索高效强化学习的未来：OpenRLHF OpenRLHFA Ray-based High-performance RLHF framework (for large models)项目地址:https://gitcode.com/gh_mirrors/op/OpenRLHF OpenRLHF 是一个基于 Ray 的高性能强化学习与人类反馈（RLHF）框架，集成了 DeepSpeed 和 Hug...
OpenRLHF实践之Qwen2.5-0.5B微调
qq_46325481的博客
02-20 3568
OpenRLHF 是一个基于 Ray、DeepSpeed 和 HF Transformers 构建的高性能 RLHF 框架：​本实验的基础设备是AutoDL租用的服务器。
openrlhf
03-15
其核心目标是通过分布式计算提升 RLHF 的训练效率，支持多节点并行处理，适用于需要大规模计算资源的场景。 #### 核心特性 1. **分布式架构**：基于 Ray 框架实现分布式任务调度，支持多 GPU/TPU 节点协作，提升...
大模型~合集22
whaosoft143ai的博客
06-05 349
值得一提的是，GLM-4-Air 的 API 大幅提升了推理速度，相比 GLM-4-0116，GLM-4-Air 的推理速度提升了 200%，每秒可以输出 71 个 token，远远超过人眼的阅读速度。在强大的文本模型之外，智谱 AI 同时开源了基于 GLM-4-9B 的多模态模型 GLM-4V-9B。智谱表示，大模型价格调整是基于技术突破、算力效率提升和成本控制的综合结果，未来每隔一段时间就会对价格做出调整，以更好的满足开发者、客户的需求，极具竞争力的价格不仅是合理的，而且也符合自身的商业策略。
人工反馈强化学习（RLHF）
heyiqiunet的博客
10-05 1503
利用人工反馈进行微调是使语言模型与人类意图相一致的一个有希望的方向。专注于微调对齐语言模型的方法。使用来自人工反馈的强化学习(RLHF)微调GPT-3。这种技术使用人类的偏好作为奖励信号来微调模型。收集了一个数据集，用于在更大的API提示集上对模型的输出进行人工标记的比较。在数据集上训练一个奖励模型(RM)，以预测标签器更喜欢输出哪个模型。使用此RM作为奖励函数，并使用PPO算法微调监督学习基线以最大化此奖励。
图解OpenRLHF中基于Ray的分布式训练流程
zenRRan的博客
12-20 783
来自：大猿搬砖简记LLM所有细分方向群+ACL25/ICML25/NAACL25投稿群->LLM所有细分领域群、投稿群从这里进入！本文着重分析OpenRLHF中的PPO-Ray训练架构设计，没有使用过Ray的朋友也可以通过本文快速上手，本文共分成四块：1. 为什么用Ray2. 使用图例抽象出整体训练流程3. Ray核心知识速过4. 使用图例，进一步抽象出核心代码细节，包括：训练入口部署PPO...
OpenAI独家绝技RLHF被开源DPO超越？让RLHF彻底傻瓜化！
chaishen10000的专栏
09-06 955
实验表明了 DPO 可以微调 LMs 以对齐人类偏好，甚至比现有方法更好。值得注意的是，用 DPO 进行微调在控制生成结果的情感以及改善摘要和单轮对话的响应质量方面表现出更好的能力，同时在实现和训练时的难度大大降低。
开源项目OpenRLHF常见问题解决方案
gitblog_00213的博客
12-14 697
开源项目OpenRLHF常见问题解决方案 OpenRLHF A Ray-based High-performance RLHF framework (for large models) 项目地址: https://gitcode....
【LLM】R1复现项目（SimpleRL、OpenR1、LogitRL、TinyZero）持续更新
发现问题，并解决问题，批判性思维
02-23 3192
（1）未来的工作需亟待解决： 支持大规模 RL 训练（PPO、GRPO 等）的开源基础框架 用于稳定训练的 GRPO 训练超参的自动化调优 RL 训练数据的配比（难度、领域、任务等） 基于 Instruct 模型训练 R1 时，高质量 long CoT 的数据获取 合适的惩罚函数设计以保证 CoT 思考链质量不退化 （2）应用在业务落地时，需要考虑： 模型在给定的 prompt 下，结合预训练的基本知识能否正确给出正确的推理结果。任何业务中的「潜规则」都需要显式地定义在 prompt 中，并尽可能避免与
万字长文梳理LLM+RL(HF)的脉络
2401_85379281的博客
10-22 1197
本文从4个部分来介绍，首先是偏好优化算法，主要分为2两大类： • 第一类，先建模偏好奖赏模型，再采用RL优化。主要包含PPO算法本身的粗糙介绍，然后进一步考虑到在LLM训练设定中，使用PPO带来复杂优化pipeline对调度与显存的开销相对较大。所以，我对针对LLM优化提出的几种算法改动，主要从降低成本的角度来进行理解与建立联系。 • 接着，我们转向第二类，直接从数据优化偏好，这部分我将其视为offline RL联合Reward Model优化的视角。从DPO出发，介绍其在不同范式下的变体（比如toke
基于Ray和vLLM构建70B+模型的开源RLHF全量训练框架
weixin_43564920的博客
01-21 2770
而这些PEFT的方式往往意味着模型效果的妥协。所以我们想到对于 Actor 推理模块我们基于 vLLM 的 TP 并行和 Dynamic Batching 能力做了分布式推理的优化，然后其他模块（即 Actor/Critic的训练模块和Reward/RefActor的推理模块）因为只参一次 forward 或者 backward 我们采用 ZeRO3 的方式进行并行训练。对于 34B+的大模型，我们用 vLLM 的 TP 并行加载 Actor 模型，其他模型仍然用 Ray 的方式分散在不同的GPU上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值