RLHF介绍及实践测试

最新推荐文章于 2025-04-13 16:23:26 发布
最新推荐文章于 2025-04-13 16:23:26 发布
阅读量1.5k 收藏 25
点赞数 16
文章标签： RLH 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010899985/article/details/135135706
版权

介绍

RLHF（Reinforcement Learning Hyperparameter Optimization Framework）是一种用于强化学习模型的超参数优化框架。它结合了强化学习中的经典方法和贝叶斯优化技术，能够更高效地找到最佳超参数组合。下面是强化学习微调的完整 RLHF 流程：

  • RLHF-Stage1 是 supervised-fintuning，即使用上文提到的数据集进行模型微调，目的是将大模型能力往垂直领域迁移；
  • RLHF-Stage2 训练奖励模型，它通过对于同一个 prompt 的不同输出进行人工排序，得到对应分数，监督训练奖励模型，目的是训练一个自动评估函数；
  • RLHF-Stage3 使用了强化学习算法训练优化LM，目前多个组织找到的可行方案是使用策略梯度强化学习 (Policy Gradient RL) 算法、近端策略优化 (Proximal Policy Optimization，PPO) 微调初始 LM 的部分或全部参数。

ps: 与lora微调的区别是：RLHF多了强化学习的过程，lora微调相当于RLHF-Stage1的SFT。

参考学习资料：如何看待Geoffrey Hinton对RLHF的看法？ - 知乎【科普向】Chat GPT背后的技术：什么是RLHF(人类反馈强化学习）？ - 哔哩哔哩

框架

三个框架对比介绍：

RLHF几大常用框架实践对比（trlx、deepspeedchat、colossalaichat） - 知乎

实践

本次实践采用ColossalAI框架分步训练（暂不支持TP策略，支持DP策略）

官方训练介绍：https://github.com/hpcaitech/ColossalAI/tree/main/applications/Chat#rlhf-training-stage3---training-model-with-reinforcement-learning-by-human-feedback

conda环境：conda activate coati

RLHF Training Stage1 - Supervised instructs tuning

数据准备：https://huggingface.co/datasets/yizhongw/self_instruct/viewer/super_natural_instructions/train

train_sft.sh：执行监督训练shell脚本

CUDA_VISIBLE_DEVICES=0 torchrun --standalone --nproc_per_node=1 train_sft.py \
    --pretrain "/data/jupyter/LLM/models/llama-7b-hf/" \  #微调训练底模
    --model 'llama' \
    --strategy colossalai_zero2 \ #微调策略方法
    --log_interval 10 \
    --save_path  /data/jupyter/your_production/ColossalAI/applications/Chat/models/sft-7b \ #保存路径
    --dataset "yizhongw/self_instruct" \ #huggingface数据集
    --batch_size 1 \
    --accumulation_steps 8 \
    --lr 2e-5 \
    --max_datasets_size 512 \
    --max_epochs 1 \
    --lora_rank 1

ps：

  • 更多参数说明参考

train_sft.py

  • 训练方法：执行

./train_sft.sh

  •  该步训练的坑较少，只要显存足够，一般不会遇到问题。

RLHF Training Stage2 - Training reward model

数据准备：https://huggingface.co/datasets/Anthropic/hh-rlhf/viewer/Anthropic--hh-rlhf/train?row=1

train_rm.sh：执行奖励函数训练脚本

torchrun --standalone --nproc_per_node=1 train_reward_model.py \
   --pretrain  "/data/jupyter/your_prodcution/ColossalAI/applications/Chat/models/sft-7b" \ #这里是第一步训练保存的模型路径
   --model 'llama' \
   --strategy colossalai_gemini \ #训练策略，这里只能该策略，其他策略实测单张3090 24G显存不足
   --loss_fn 'log_exp'\
   --save_path /data/jupyter/your_prodcution/ColossalAI/applications/Chat/models/rmstatic.pt \ #保存模型路径，这里仅为模型权重
   --dataset 'Anthropic/hh-rlhf'\ #huggingface数据集
   --lora_rank 1 \
   --batch_size 1 \
   --max_len 128

ps：

  • 更多参数说明参考

train_reward_model.py

  • pretrain的模型是第一步训练保存的模型
  • strategy只能执行colossalai_gemini，其他会显存不足
  • max_len设置为128、256可以跑通，但512会出现显存不足

RLHF Training Stage2 - Training reward model

数据准备：

使用generate_prompt_dataset.py对目标数据生成prompt数据（instructions）https://github.com/XueFuzhao/InstructionWild/tree/main/data#instructwild-data

使用步骤一的pretrain dataset(including the instruction and corresponding response)https://huggingface.co/datasets/yizhongw/self_instruct/viewer/super_natural_instructions/train

train_prompts.sh：执行LM微调训练脚本

torchrun --standalone --nproc_per_node=2 train_prompts.py \
    --pretrain "/data/jupyter/your_production/ColossalAI/applications/Chat/models/sft-7b" \
    --model 'llama' \
    --strategy colossalai_gemini \
    --prompt_dataset /data/jupyter/LLM/datasets/InstructionWild/data1 \
    --pretrain_dataset /data/jupyter/LLM/datasets/self_instruct \
    --rm_pretrain /your/pretrain/rm/definition \
    --rm_path /data/jupyter/your_production/ColossalAI/applications/Chat/models/rmstatic.pt

ps:

  • 因显存不足，该过程暂无法跑通，底层代码多处封装cuda使用，较难使用仅cpu运行；
  • rm_pretrain本意应为训练第二步保存的模型结构，但第二步训练保存的是pt文件，无保存模型结构（colossalai_gemini无法执行save_pretrained，原作者也没有这样保存，colossalai_zero2策略可以，但显存不足），所以在第三步作者是分两步完成模型加载

state_dict = torch.load(args.rm_path, map_location='cpu') reward_model = LlamaRM(pretrained=args.rm_pretrain) reward_model.load_state_dict(state_dict)

  • 这里存在有问题：第二步RM保存pt文件是有两层lora训练的，LlamaRM是无lora的，导致加载直接报错，修改为：

reward_model = LlamaRM(pretrained=pretrain, lora_rank=lora_rank)

  • critic加载第二步RM保存pt文件，存在问题，LlamaCritic是三层lora，pt是二层lora导致报错：

_IncompatibleKeys(missing_keys=['value_head.lora_A', 'value_head.lora_B'], unexpected_keys=[])

修改critic.load_state_dict(state_dict, strict=False)可解决；

  • critic的lora加载顺序可能有问题：先加载value_head后convert_to_lora，导致value_head不可训练，该层参数随机化；

self.model = model self.value_head = value_head self.use_action_mask = use_action_mask self.convert_to_lora()

Charles_yy
关注
大语言模型原理与工程实践：RLHF 实战框架
AI天才研究院
05-20 1120
1. 背景介绍 1.1 ChatGPT 的横空出世与大语言模型的新时代 2022 年底，ChatGPT 横空出世，迅速席卷全球，成为科技界最耀眼的明星之一。这款基于大语言模型（Large Language Model, LLM）的聊天机器人，以其惊人的语言理解能力和生成
大语言模型原理与工程实践：RLHF 算法
AI天才研究院
06-11 817
1. 背景介绍 自然语言处理（NLP）是人工智能领域的一个重要分支，它涉及到计算机对人类语言的理解和生成。在NLP中，语言模型是一个重要的概念，它可以用来预测一个给定的序列的下一个单词或字符。近年来，随着深度学习技术的发展，大型语言模型的性能得到了极大的提升，这些模型可以用来生成自然语言文本、机器翻译、语音识别等任务。 在本文中，我们将
RLHF的应用案例分析
AI天才研究院
03-01 1214
1. 背景介绍 1.1 人工智能的发展 随着计算机技术的飞速发展，人工智能（AI）已经成为了当今科技领域的热门话题。从自动驾驶汽车到智能家居，人工智能已经渗透到我们生活的方方面面。在这个过程中，强化学习（Reinforcement Learning，简称RL）作为一种重要的机器学习方法，得到了广泛的关
使用 RLHF 训练 LLaMA 的实践指南：StackLLaMA
wshzd的博客
05-24 2903
一般来说，在 RL 中希望获得最高的reward，但是在 RLHF 中，使用了一个不完美的奖励模型，PPO 算法将利用这些不完美，这可能表现为奖励的突然增加，但是当我们从策略中查看文本生成时，它们主要包含字符串 ``` 的重复，因为奖励模型发现包含代码块的stack exchange答案reward分数是最高的。StackLLaMA模型开源了，并且在Huggingface Hub上可以使用，地址：https://huggingface.co/trl-lib/llama-7b-se-rl-peft；
什么是基于人类反馈的强化学习（RLHF）
最新发布
彬彬侠的博客
04-13 1054
RLHF（Reinforcement Learning with Human Feedback） 是大语言模型（如 GPT-4、Claude、ChatGPT）训练中的一项核心技术，用于让模型的输出更符合人类偏好、更有帮助、更安全。全称是基于人类反馈的强化学习，是一种用人类评价来优化生成式模型行为的方法。RLHF 是通过人类反馈信息，训练一个奖励模型，再用强化学习方法引导大模型的输出朝“人类更喜欢”的方向演化。RLHF 的训练流程分为 三个阶段，以 OpenAI 的 GPT 模型为例：阶段1监督微调（Sup
一键式 RLHF 训练 DeepSpeed Chat（二）：实践篇
DEVELOPERAA的博客
05-22 1960
一键式 RLHF 训练 DeepSpeed Chat（二）：实践篇
从0到1构建RLHF系统——小红书大模型团队的探索与实践
2401_85373691的博客
01-05 2203
在QCon上海2024大会上，小红书大模型团队分享了自研RLHF系统的设计和优化。本文将介绍，随着LLM的发展，超长文本、多模态、PPO（Proximal Policy Optimization）训练本身的复杂度等带来了巨大的技术挑战，AGI团队通过异构、同构组网架构以及一系列训推一体优化方案，全面超越开源框架，并展示了RLHF之后模型的效果提升。
大语言模型原理与工程实践：RLHF
AI天才研究院
05-24 419
大语言模型原理与工程实践：RLHF 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 大语言模型的崛起 近年来，随着深度学习技术的飞速发展，大语言模型（LLM，Large Language Model）凭借其强大的文本
RLHF Workflow: From Reward Modeling to Online RLHF
05-23
本文将深入探讨“RLHF Workflow: From Reward Modeling to Online RLHF”的技术报告，该报告详细介绍了在线迭代强化学习从人类反馈（RLHF）的工作流程。RLHF作为一种新兴的学习范式，通过收集人类反馈来指导大型语言...
RLHF：基于人类反馈（Human Feedback）对语言模型进行强化学习【Reinforcement Learning from Human Feedback】
u013250861的博客
12-30 1万+
因此，训练阶段，如果直接用人的偏好（或者说人的反馈）来对模型整体的输出结果计算reward或loss，显然是要比上面传统的“给定上下文，预测下一个词”的损失函数合理的多。基于这个思想，便引出了本文要讨论的对象——为了能刻画模型输出的整体质量（而不是单个词），人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度，但这也仅仅是在评价的层面，模型在训练的时候是见不到这些人类真实的偏好的。取得了巨大的成功，诞生了不少有意思的AI应用，例如AI写小说，AI写代码，AI画图甚至AI做视频等。
RLHF微调：理论与实践
AI天才研究院
03-11 204
1. 背景介绍 1.1 什么是微调 微调（Fine-tuning）是一种迁移学习技术，通过在预训练模型的基础上进行微调，可以将模型应用于新的任务。这种方法可以大大减少训练时间和计算资源，同时提高模型在新任务上的性能。 1.2 为什么需要微调
机器学习之RLHF（人类反馈强化学习）
JustinMars的博客
11-28 844
RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习） 是一种结合强化学习（RL）和人类偏好的方法，用于训练符合人类期望的模型。它通过引入人类反馈的奖励信号，指导智能体的学习过程，使其行为更符合人类的价值和目标。 RLHF 在训练大规模语言模型（如 OpenAI 的 GPT 系列）和机器人、推荐系统等领域都取得了显著效果。以下是其关键思想、主要流程及应用解析。
InstructGPT高效实践——【DeepSpeed-Chat】源码详解(3/3)：RLHF Finetuning
Remixa的博客
05-17 4468
前言   本篇为上中下三篇章的【下篇】，接续自【中篇】。主要针对整个DeepSpeed-Chat框架中最为复杂的第三阶段进行详解，其中涉及到部分InstructGPT所述相关原理的实践，基于其代码将更易于理解诸多原理中一笔带过的话题，如“用于经验采集的策略网络到底是SFT还是Actor”“Critic的迭代又是如何实现的”等等。   尽管这是讨论DeepSpeed-Chat技术为主的文章，但还是不得不借用ColossalChat（另一个实现了RLHF Pipeline的开源项目，项目地址）绘制的流程示意图（
【LLM】RLHF机制（Reinforcement Learning from Human Feedback）
发现问题，并解决问题，批判性思维
07-11 1848
RLHF分为三个步骤 我做你看：有监督学习，从训练集中挑出一批prompt，人工对prompt写答案 你做我看：奖励模型训练，这次不人工写答案了，而是让GPT3给出几个候选答案，人工对其质量排序，Reward model学习一个打分器；这个让机器学习人类偏好的过程就是【对齐】，但可能会导致胡说八道，可以通过KL Divergence等方法解决。instructGPT中奖励模型的损失函数如下，其中 rθ(x,y) 是奖励模型对提示x和完成y的标量输出，具有参数θ，
基于人类反馈的强化学习微调 (RLHF) (Reinforcement Learning from Human Feedback (RLHF) Fine-tuning)
YPeng_Gao的博客
03-13 1192
从 RLHF 的必要性、核心目标， 到完整流程 (SFT 模型训练、奖励模型训练、强化学习训练) 和关键算法 (PPO)， 再到 RLHF 面临的挑战和未来展望， 我们对 RLHF 进行了全方位、深层次的剖析。RLHF 并非一蹴而就， 而是一个精细的三阶段训练流程， 每一步都环环相扣， 共同构建了 RLHF 的完整技术体系， 最终打造出更聪明的模型。KL 散度可以衡量两个概率分布的相似程度， KL 散度越大， 说明新旧 Policy 差异越大， 惩罚也越大。
什么是RLHF
热门推荐
盖瑞理的智汇说
05-11 1万+
*字面翻译：**RLHF (Reinforcement Learning from Human Feedback) ，即以强化学习方式依据人类反馈优化语言模型。强化学习从人类反馈（RLHF）是一种先进的AI系统训练方法，它将强化学习与人类反馈相结合。它是一种通过将人类训练师的智慧和经验纳入模型训练过程中，创建更健壮的学习过程的方法。该技术涉及使用人类反馈创建奖励信号，然后通过强化学习来改善模型的行为。
从“通才”到“专家”：SFT与RLHF如何让你的AI真正“懂”你的业务？
老皮的博客
01-07 916
在实际应用中，选择合适的微调技术，可以使AI模型在特定场景中发挥更强大的性能。无论是在电商、法律、旅游还是医疗等行业，微调技术的运用都能为企业带来更加精准的业务决策、更加个性化的用户体验，并进一步推动智能化应用的落地与发展。微调不仅是提高AI模型质量的技术手段，更是推动行业创新与发展的催化剂。在未来，随着AI技术的不断发展和成熟，微调技术将会在更多领域中发挥重要作用，帮助我们走向更加智能化的未来。
Rlhf微调LLM
04-01
### 使用 RLHF 方法对大型语言模型进行微调 #### 什么是 RLHF？ 强化学习基于人类反馈（Reinforcement Learning from Human Feedback, RLHF）是一种利用人类偏好数据来优化大型语言模型（LLM）的方法[^1]。这种方法通过引入外部的人类评价信号，使模型能够更好地理解复杂的语义需求并生成高质量的内容。 RLHF 的核心流程可以分为以下几个方面： 1. **数据收集** 需要从真实场景中获取大量的人类反馈数据。这些数据通常来源于问卷调查、用户交互记录或者专门设计的任务实验。例如，在对话系统中，可以让测试人员评估不同回复的质量，并标记哪些回复更好。 2. **奖励建模** 基于上述标注好的数据集构建一个奖励函数或奖励模型。该模型用于衡量当前状态下采取某种行动所带来的收益大小。对于自然语言处理任务来说，则可能涉及判断一段文字是否符合预期风格、逻辑连贯程度等方面的标准。 3. **策略优化** 利用强化学习算法调整原始预训练模型参数直至达到最优解为止。在此过程中会不断尝试新的动作序列组合并通过比较其累积折扣回报值决定下一步该如何改进现有政策πθ(s)[^1]。 以下是实现这一过程的一个简单伪代码示例： ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM def rlhf_finetune(model_name="gpt2", num_epochs=5): tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) optimizer = torch.optim.AdamW(model.parameters(), lr=1e-5) # 加载奖励模型... reward_model = load_reward_model() for epoch in range(num_epochs): inputs = get_training_data() # 获取一批次的数据 outputs = model(**inputs) # 计算前向传播结果 rewards = compute_rewards(reward_model, outputs.logits) # 根据奖励模型计算奖励 loss = calculate_loss(outputs.loss, rewards) # 结合损失与奖励更新目标函数 loss.backward() optimizer.step() optimizer.zero_grad() rlhf_finetune() ``` 此脚本展示了如何加载基础的大规模预训练模型以及定义相应的优化器设置；接着循环迭代读取样本批次执行梯度下降操作完成整个训练周期内的参数修正工作流。 值得注意的是虽然相比监督式微调(Supervised Fine-Tuning,SFT)，采用RLHF确实能带来更好的效果表现但是同时也增加了不少额外开销比如需要精心准备高质量的示范案例供后续分析参考之外还需要花费更多时间去探索最佳超参配置方案等问题都需要提前考虑清楚再付诸实践才行。 --- #### RMSNorm 对 RLHF 微调的影响 除了传统的层归一化(Layer Normalization)，近年来提出的RMSNorm也逐渐成为提升Transformer架构性能的重要工具之一。它通过对输入张量求平方后再开根号的方式来进行标准化处理而无需显式估计均值项因此具备更快的速度特性同时还能够在一定程度上缓解某些特定条件下可能出现数值不稳定现象的发生几率从而间接促进了包含RLHF在内的各种高级技术手段的应用与发展趋势[^4]。 --- #### 总结 综上所述，RLHF 提供了一种强大的机制使得我们可以更加灵活精准地定制专属版本的语言生成解决方案不仅限于学术研究领域同样适用于工业界实际产品开发当中只要合理规划资源投入比例就能收获显著成效当然前提条件是要充分认识到其中存在的挑战所在并且积极寻找应对措施加以克服最终达成既定目标要求水平之上甚至超越期望上限范围以外的结果呈现形式出来才是真正的成功标志体现之处。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值