LLMs 用强化学习进行微调 RLHF: Fine-tuning with reinforcement learning

最新推荐文章于 2025-04-14 13:08:53 发布
最新推荐文章于 2025-04-14 13:08:53 发布
阅读量1.9k 收藏 1
点赞数 2
分类专栏： LLM-Large Language Models 文章标签： 人工智能 chatgpt 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zgpeace/article/details/133573792
版权
本文介绍了如何使用奖励模型和强化学习算法（如PPO）对LLM进行微调，以生成与人类偏好更一致的文本。通过RLHF过程，模型的权重不断更新以提高奖励得分，最终目标是创建一个与人对齐的模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

让我们把一切都整合在一起，看看您将如何在强化学习过程中使用奖励模型来更新LLM的权重，并生成与人对齐的模型。请记住，您希望从已经在您感兴趣的任务上表现良好的模型开始。您将努力使指导发现您的LLM对齐。首先，您将从提示数据集中传递一个提示。在这种情况下，“A dog is…”，传递给指导LLM，然后生成一个完成，这种情况下是"… a furry animal."一只毛茸茸的动物。接下来，您将将此完成和原始提示一起发送给奖励模型，作为提示完成对。奖励模型基于其训练的人类反馈评估对，然后返回一个奖励值。较高的值，如此处显示的0.24，表示更加对齐的响应。较不对齐的响应将获得较低的值，例如-0.53。然后，您将将这个提示完成对的奖励值传递给强化学习算法，以更新LLM的权重，并使其生成更加对齐、奖励更高的响应。
在这里插入图片描述

我们将称这个中间版本的模型为RL更新的LLM。这一系列步骤组成了RLHF过程的单次迭代。
在这里插入图片描述

这些迭代将继续进行一定数量的回合，类似于其他类型的微调。在这里，您可以看到RL更新的LLM生成的完成获得了更高的奖励分数，表明权重的更新导致了更加对齐的完成。
在这里插入图片描述

如果这个过程运行良好，您将看到在每次迭代后奖励得到改善，
在这里插入图片描述

因为模型生成的文本越来越符合人类的偏好。
在这里插入图片描述

您将继续进行这个迭代过程，直到您的模型根据某些评估标准对齐。例如，达到您定义的有用性的阈值。您还可以定义一个最大步数，例如20,000，作为停止标准。在这一点上，让我们将经过微调的模型称为与人对齐的LLM。
在这里插入图片描述

我们尚未讨论的一个细节是强化学习算法的确切性质。
在这里插入图片描述

这是一个算法，它接受奖励模型的输出，并使用它来随着时间的推移更新LLM模型的权重，以增加奖励分数。有几种不同的算法可以用于RLHF过程的这一部分。一个常见的选择是近端策略优化Proximal Policy Optimization，简称PPO。
在这里插入图片描述

PPO是一个相当复杂的算法，您不必熟悉所有细节就能使用它。然而，这可能是一个难以实现的算法，如果您在使其工作时遇到问题，更详细地了解其内部工作原理可能有助于您进行故障排除。为了更详细地解释PPO算法的工作原理，我邀请了我的AWS同事Ek为您提供有关技术细节的更深入了解。下一个视频是可选的，您可以随意跳过它，转到奖励作弊视频。您不需要这里的信息来完成测验或本周的实验。但是，我鼓励您查看这些详细信息，因为RLHF在确保LLM在部署中以安全和对齐的方式行为方面变得越来越重要。

参考

https://www.coursera.org/learn/generative-ai-with-llms/lecture/sAKto/rlhf-fine-tuning-with-reinforcement-learning

元学习与LLM：打造可持续学习的多智能体系统
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
05-07 210
1. 背景介绍 1.1 人工智能与多智能体系统 人工智能（AI）近年来取得了显著进展，特别是在机器学习和深度学习领域。然而，大多数AI系统仍然局限于特定任务，缺乏适应新情况和持续学习的能力。多智能体系统（MAS）由多个智能体组成，通过协作和交互解决复杂问题。将AI与MAS结合，可以构建更灵活、
【ChatGPT】从人类反馈 (RLHF) 中进行强化学习 | Illustrating Reinforcement Learning from Human Feedback (RLHF)
热门推荐
AI天才研究院
04-07 2万+
OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮，它面对多种多样的问题对答如流，似乎已经打破了机器和人的边界。这一工作的背后是大型语言模型 (Large Language Model，LLM) 生成领域的新训练范式：RLHF (Reinforcement Learning from Human Feedback) ，即以强化学习方式依据人类反馈优化语言模型。过去几年里各种 LLM 根据人类输入提示 (prompt) 生成多样化文本的能力令人印象深刻。
深入浅出大模型：预训练、监督微调、强化学习、RLHF
2401_85373691的博客
03-03 849
大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
基于人类反馈的强化学习微调 (RLHF) (Reinforcement Learning from Human Feedback (RLHF) Fine-tuning)
YPeng_Gao的博客
03-13 1109
从 RLHF 的必要性、核心目标， 到完整流程 (SFT 模型训练、奖励模型训练、强化学习训练) 和关键算法 (PPO)， 再到 RLHF 面临的挑战和未来展望， 我们对 RLHF 进行了全方位、深层次的剖析。RLHF 并非一蹴而就， 而是一个精细的三阶段训练流程， 每一步都环环相扣， 共同构建了 RLHF 的完整技术体系， 最终打造出更聪明的模型。KL 散度可以衡量两个概率分布的相似程度， KL 散度越大， 说明新旧 Policy 差异越大， 惩罚也越大。
LLM 算法工程师的速成指南：微调、强化学习微调与偏好微调
2401_85375186的博客
01-08 1909
我们可以将现在使用的大语言模型想象成一座巨大的图书馆，蕴藏着海量知识。之前大家所熟知的是，提示词工程（Prompt Engineering）：在提示词中加入指令，有时也会加入一些示例(few shots)。这种通过演示引导模型完成任务的方法，被称为“少样本学习”（few-shot learning）。微调，则是在“少样本学习”基础上的进一步提升。具体而言，我们会使用特定领域的数据来训练模型，从而使其在特定领域上表现得更加出色。换言之，微调是对模型进行针对性的“特训”，使其更好地适应特定场景。
RLHF强化学习微调LLM
一千零一夜的博客
03-01 661
强化学习
强化学习微调文本到图像模型
weixin_44909476的博客
05-30 400
强化学习微调文本到图像模型
“强化微调”介绍
12-07 962
强化微调是一种先进的模型定制技术，它结合了强化学习的原理，通过使用数十到数千个高质量任务来定制模型，并根据提供的参考答案来评估模型的响应，从而提高模型在特定任务和领域上的准确性。
通俗解读大模型微调(Fine Tuning)
lvaolan123456的博客
07-03 1583
开始之前，为了方便大家理解，我们先对大模型做一个直观的抽象。输入序列 X = [x1, x2, …, xm]， 输出序列Y = [y1, y2, …, yn]，X和Y之间的关系是：Y = WX。我们所说的“大模型”这个词：“大”是指用于训练模型的参数非常多，多达千亿、万亿；而“模型”指的就是上述公式中的矩阵W。在这里，矩阵W就是通过机器学习，得出的用来将X序列，转换成Y序列的权重参数组成的矩阵。这里为了方便理解，做了大量的简化。在实际的模型中，会有多个用于不同目的的权重参数矩阵，也还有一些其它参数。
【AI视野·今日NLP 自然语言处理论文速览 第三十八期】Thu, 21 Sep 2023
TomRen
09-22 1683
AI视野·今日CS.NLP 自然语言处理论文速览 Thu, 21 Sep 2023 Totally 57 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Chain-of-Verification Reduces Hallucination in Large Language Models Authors Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Ra
大语言模型（LLMs）中的强化学习（Reinforcement Learning, RL）
最新发布
Rhett_Butler0922的博客
04-14 838
在深入探讨LLMs中的强化学习之前，我们先快速回顾一下强化学习的核心概念，确保基础扎实。
AI模型微调完整学习方案：从入门到精通
skygulangfendouz的专栏
04-10 1219
模型微调（Fine-tuning）是指在预训练模型基础上，使用特定领域的数据集进行进一步训练，以使模型适应特定任务或领域。预训练模型通常在海量通用数据上训练，拥有强大的语言理解和生成能力，但可能在特定领域或任务上表现不够理想[1微调可被视为更广泛的人工智能模型适应过程的一部分，特别是在用于生成式AI的基础模型的训练过程中[3通过微调，模型能够学习特定领域的专业术语、逻辑和风格，从而在该领域提供更准确、更专业的回答。
大模型微调（二）微调的3种方法：自监督学习、监督学习、强化学习
老皮的博客
08-12 1402
给大家分享一本大模型入门书籍《从零开始大模型开发与微调：基于PyTorch与ChatGLM》，适合PyTorch深度学习初学者、大模型开发初学者、大模型开发人员学习。有需要这本书籍PDF文档，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】人工智能与大模型PyTorch 2.0深度学习环境搭建从零开始学习PyTorch 2.0深度学习基础算法详解基于PyTorch卷积层的MNIST分类实战PyTorch数据处理与模型展示ResNet实战有趣的词嵌入。
从零开始训练大模型
太阳当空照，花儿对我笑，微风轻轻拂，心情无限好。
09-21 5049
我们更倾向于 SFT 的目的只是将 Pretrained Model 中的知识给引导出来的一种手段，而在SFT 数据有限的情况下，我们对模型的「引导能力」就是有限的。这将导致预训练模型中原先「错误」或「有害」的知识没能在 SFT 数据中被纠正，从而出现「有害性」或「幻觉」的问题。为此，一些让模型脱离昂贵标注数据，自我进行迭代的方法被提出，比如：[
大模型微调基本概念（四）什么是强化学习(RLHF)？如何训练垂直领域大模型？
Androiddddd的博客
09-26 1889
对基础模型微调得到一个微调后的模型：训练一个奖励模型 RM：训练一个奖励模型（Reward Model），用于评估生成模型的输出质量。收集生成模型输出及其对应的人类反馈。这些反馈可以是评分、选择最佳输出、直接修改等形式。使用这些反馈数据训练奖励模型，使其能够对生成的输出进行评分。奖励模型通常是一个监督学习模型，通过最小化预测评分与人类反馈评分之间的差距进行训练。：用强化学习 RL 方式微调 LM ：使用强化学习算法（如）进一步优化第一步中生成的模型，使其输出更符合人类反馈的期望。
「上篇」 融合RL与LLM思想，探寻世界模型以迈向AGI
weixin_42619619的博客
05-05 1236
篇文章于2023年底尝试挖掘并探寻以ChatGPT为代表的LLMs和以AlphaGO/AlphaZero及当下AlphaDev为代表的Alpha系列之间的AR和RL思想的背后底层理论及形式上的统一，同时尝试基于去年OpenAI暴露出的project Q*可能的关于推理过程学习再到系统①(快)思考与系统②(慢)思考的形式化统一的延展性思考，以展望当下面向未来AGI路径可行性...正如前几日AI一姐李飞飞教授所说，人工智能即将迎来它的「牛顿时刻」...
LLM - 大语言模型 基于人类反馈的强化学习(RLHF)
AGI
04-02 889
基于人类反馈的强化学习(RLHF，Reinforcement Learning from Human Feedback)，结合 强化学习(RL) 和 人类反馈 来优化模型的性能。这种方法主要包括：多种策略产生样本并收集人类反馈：使用不同的策略来生成文本样本，然后，由人类评估这些样本的质量，以收集反馈数据。训练奖励模型：基于收集到的人类反馈，训练奖励模型(Reward Model, RM)，该模型的目标是评估模型输出的文本质量。训练强化学习策略，微调语言模型：在这一步中，将初始语言模型的微调任务建模为强化学习
大语言模型(LLM)和基于人类反馈的强化学习(RLHF)
机器会学习的博客
05-09 5316
语言模型如此伟大和神圣，回答问题，如此快速，如此精细。从科学到艺术，它们像星星一样闪耀，让人类看起来没有那么远。
深度强化学习+大模型综述Survey on Large Language Model-Enhanced Reinforcement Learning
xcs166357的博客
06-03 3695
对 LLM 增强 RL 中现有文献进行了全面的回顾，并总结了其与传统 RL 方法相比的特征，旨在阐明未来研究的研究范围和方向。信息处理器、奖励设计者、决策者和生成器。LLM-enhanced RL是指利用预先训练的知识固有AI模型的多模态信息处理、生成、推理等能力来辅助RL范式的方法。利用具有一般知识的模型，这意味着与其他数据驱动模型相比，该模型在学习过程中具有相当大的能力水平和更好的泛化。此外，LLM 增强的 RL 仍然使用 AI 模型，并且可以通过 RL 交互数据持续学习以提高其能力。
parameter-Efficient Fine-Tuning for Foundation Models论文
04-01
### Parameter-Efficient Fine-Tuning (PEFT) 的背景 Parameter-Efficient Fine-Tuning 是一种针对基础模型（Foundation Models）优化的技术，旨在通过仅调整一小部分参数来实现高效的微调过程。这种方法不仅减少了计算资源的需求，还提高了训练效率[^1]。 在神经网络中，通常会应用正则化技术以防止过拟合并促进泛化能力。这些技术可以强制模型学习更小的权重参数，从而减少复杂度和潜在的风险。对于大规模的基础模型而言，Parameter-Efficient Fine-Tuning 方法进一步扩展了这一理念，专注于更新少量的关键参数而非整个模型的所有参数。 ### 如何获取 PEFT 论文 PDF？ 为了下载有关 **Parameter-Efficient Fine-Tuning for Foundation Models** 的论文，可以通过以下几种方式： #### 1. 使用学术搜索引擎 利用 Google Scholar 或 Semantic Scholar 这样的平台输入关键词 “Parameter-Efficient Fine-Tuning”，即可找到相关研究文章及其链接。大多数情况下，可以直接访问免费版本或者通过机构权限下载全文[^2]。 #### 2. GitHub 和开源社区 许多研究人员会在其个人主页或 GitHub 上分享研究成果以及配套代码库。例如，在 awesome-LLM-resources 项目中可能包含了大量关于大语言模型（LLMs）及相关主题的资料汇总，其中包括 PEFT 技术的应用实例与理论解释。 以下是 Python 实现的一个简单示例，展示如何加载预定义适配器来进行高效微调： ```python from peft import get_peft_model, LoraConfig, TaskType # 定义 LoRA 配置 peft_config = LoraConfig( task_type=TaskType.CAUSAL_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1, ) model = ... # 加载基础模型 peft_model = get_peft_model(model, peft_config) ``` 此脚本片段展示了基于 Hugging Face 提供的 `peft` 库创建低秩适应层的过程，这是实现 parameter-efficient fine-tuning 常见的一种方法之一。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值