LLM - 大语言模型 基于人类反馈的强化学习(RLHF)

最新推荐文章于 2025-02-20 21:01:38 发布
最新推荐文章于 2025-02-20 21:01:38 发布
阅读量891 收藏 2
点赞数 7
分类专栏： 大模型 (LLM) 文章标签： 自然语言处理 RLHF 基于人类反馈的强化学习 近端优化策略 PPO 奖励模型 大语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caroline_wendy/article/details/137294530
版权
本文介绍了RLHF（基于人类反馈的强化学习）技术，它结合强化学习和人类反馈优化大语言模型的性能。通过奖励模型、策略模型、评论模型和参考模型的协同工作，RLHF训练语言模型理解并满足人类需求。文章详细阐述了奖励模型的训练过程、近端优化策略PPO的应用以及MOSS-RLHF框架，该框架由复旦大学自然语言处理团队开发，致力于提升模型的安全性和伦理性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://blog.csdn.net/caroline_wendy/article/details/137269049

RLHF

基于人类反馈的强化学习(RLHF，Reinforcement Learning from Human Feedback)，结合 强化学习(RL) 和 人类反馈 来优化模型的性能。这种方法主要包括：

  1. 多种策略产生样本并收集人类反馈：使用不同的策略来生成文本样本，然后，由人类评估这些样本的质量，以收集反馈数据。
  2. 训练奖励模型：基于收集到的人类反馈，训练奖励模型(Reward Model, RM)，该模型的目标是评估模型输出的文本质量。
  3. 训练强化学习策略，微调语言模型：在这一步中，将初始语言模型的微调任务建模为强化学习问题࿰
了解本专栏 订阅专栏 解锁全文 超级会员免费看
微调实操三:人类反馈对语言模型进行强化学习(RLHF)
youbingchen的博客
02-21 2181
但是, 这些模型有时可能表现出意外的行为，例如制造虚假信息、追求不准确的目标，以及产生有害的、误导性的和偏见性的表达。在此设置中，预训练的 LM 作为策略，将提示作为输入并返回输出文本，它的动作空间是 LM 的词表，状态是当前生成的 token 序列，奖励由 RM 生成。然后，需要训练 RM 预测人类偏好的输出。1.1.1 RM(Reward Model)奖励模型建模，构造人类偏好排序数据集，训练奖励模型，用来建模人类偏好，主要是"HHH"原则，具体是"helpful, honest, harmless"
一文读懂「RLHF」基于人类反馈的进行强化学习
热门推荐
女王の专属领地
01-18 3万+
RLHF就是基于人类反馈（Human Feedback）对语言模型进行强化学习（Reinforcement Learning），和一般的fine-tune过程乃至prompt tuning自然也不同。多种策略产生样本并收集人类反馈训练奖励模型训练强化学习策略，微调 LM首先需要一个预训练语言模型，通过大量的语料去训练出基础模型，对于ChatGPT来说就是GPT-3。还有一个可选的Human Augmented Text,又叫Fine-tune。
深度强化学习+大模型综述Survey on Large Language Model-Enhanced Reinforcement Learning
xcs166357的博客
06-03 3761
对 LLM 增强 RL 中现有文献进行了全面的回顾，并总结了其与传统 RL 方法相比的特征，旨在阐明未来研究的研究范围和方向。信息处理器、奖励设计者、决策者和生成器。LLM-enhanced RL是指利用预先训练的知识固有AI模型的多模态信息处理、生成、推理等能力来辅助RL范式的方法。利用具有一般知识的模型，这意味着与其他数据驱动模型相比，该模型在学习过程中具有相当大的能力水平和更好的泛化。此外，LLM 增强的 RL 仍然使用 AI 模型，并且可以通过 RL 交互数据持续学习以提高其能力。
大语言模型(LLM)和基于人类反馈的强化学习(RLHF)
机器会学习的博客
05-09 5337
语言模型如此伟大和神圣，回答问题，如此快速，如此精细。从科学到艺术，它们像星星一样闪耀，让人类看起来没有那么远。
LLM增强强化学习：开启智能决策的新篇章
最新发布
Shea的博客
02-20 1088
LLM增强的强化学习为解决传统RL的诸多挑战提供了新的思路和方法。LLM作为信息处理器、奖励设计者和决策者，分别从数据处理、奖励设计和决策支持等方面为RL注入了强大的能力。这种结合不仅让智能体能够更好地理解和处理多模态信息，还提高了学习效率和泛化能力，为RL在复杂任务中的应用开辟了新的可能。🌟。
LLMs 用强化学习进行微调 RLHF: Fine-tuning with reinforcement learning
AI架构师易筋
10-05 1985
让我们把一切都整合在一起，看看您将如何在强化学习过程中使用奖励模型来更新LLM的权重，并生成与人对齐的模型。请记住，您希望从已经在您感兴趣的任务上表现良好的模型开始。您将努力使指导发现您的LLM对齐。首先，您将从提示数据集中传递一个提示。在这种情况下，“A dog is…”，传递给指导LLM，然后生成一个完成，这种情况下是"… a furry animal."一只毛茸茸的动物。接下来，您将将此完成和原始提示一起发送给奖励模型，作为提示完成对。奖励模型基于其训练的人类反馈评估对，然后返回一个奖励值。
一文彻底搞懂大模型 - 基于人类反馈的强化学习（RLHF）
m0_59164520的博客
10-08 4077
随着大型语言模型（LLM）的快速发展，如何使这些模型更好地理解和满足人类的需求成为了一个关键问题。传统的训练方法往往依赖于大规模的语料库和基于规则的损失函数，但这在处理复杂、主观和依赖上下文的任务时存在局限性。因此，基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）应运而生，为模型的训练提供了一种新的思路。RLHF一、RLHF的框架什么是RLHF？基于人类反馈的强化学习（Reinforcement Learning from Human
大模型学习笔记 - LLM 之RLHF人类对齐的简单总结
m0_37531129的博客
08-04 1670
LLM-人类对齐1. RLHF(Reinforcement Learning from Human Feedback, RLHF),基于人类反馈的强化学习2 奖励模型训练3 强化学习训练3.1 PPO介绍3.2 进阶的RLHF的介绍3.2.1. 过程监督奖励模型3.2.2. 基于AI反馈的强化学习3.2.3. 非强化学习的对齐方法4 关于SFT和RLHF的进一步讨论本篇完全参考大语言模型综述，学习完大模型学习笔记 - InstructGPT中的微调与对齐。
RLHF：基于人类反馈的强化学习
AI天才研究院
04-29 634
1. 背景介绍 1.1 强化学习的局限性 强化学习 (Reinforcement Learning, RL) 作为一种强大的机器学习范式，在诸多领域取得了显著的成果，例如游戏 AI、机器人控制等。然而，传统的强化学习方法往往依赖于精心设计的奖励函数，来指导智能体学习期望的行为。这种依赖性导致了以下局
『大模型笔记』人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
AI新视界
08-09 643
人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)
基于人类反馈的强化学习(RLHF)[译]
yujianmin1990的专栏
02-24 5167
一篇关于RLHF（Reinforcement Learning from Human Feedback）的，翻过来以飨读者。
【论文调研】大语言模型和强化学习结合：LLM+RL
qq_1300258993的博客
12-17 2072
大语言模型和强化学习结合论文调研
LLM微调（三）| 大模型中RLHF + Reward Model + PPO技术解析
wshzd的博客
12-08 8099
基于人类的反馈数据来训练一个奖励模型，该模型会在RLHF中被调用，并且不需要人类的参与，就可以根据用户不同的Prompt来分配不同的奖励reward，这个过程被称为”Rollout“。
RLHF：基于人类反馈（Human Feedback）对语言模型进行强化学习【Reinforcement Learning from Human Feedback】
u013250861的博客
12-30 1万+
因此，训练阶段，如果直接用人的偏好（或者说人的反馈）来对模型整体的输出结果计算reward或loss，显然是要比上面传统的“给定上下文，预测下一个词”的损失函数合理的多。基于这个思想，便引出了本文要讨论的对象——为了能刻画模型输出的整体质量（而不是单个词），人们往往用BLEU或ROUGH等评价指标来刻画模型输出与人类偏好的相近程度，但这也仅仅是在评价的层面，模型在训练的时候是见不到这些人类真实的偏好的。取得了巨大的成功，诞生了不少有意思的AI应用，例如AI写小说，AI写代码，AI画图甚至AI做视频等。
您真的了解人类反馈强化学习（RLHF）吗？
qianggezhishen的专栏
08-12 2172
人类反馈强化学习（RLHF）是一种前沿的机器学习技术，致力于提升人工智能模型的性能和可靠性。这项技术通过整合人类的即时反馈，确保AI的输出不仅与人类的价值观和期望相契合，而且还能体现出社会责任感和伦理标准，从而生成既负责任又道德的内容。偏好数据集由提示和语言模型生成的相应响应的对或集合组成，以及基于质量或可取性对这些响应进行排名的人类注释。RLHF这技术真的挺厉害的，它其实就是用我们人类的反馈来教AI怎么变得更聪明。通过这种强化学习的方式，AI就能更好地理解我们，给出的回应也更精准、更有用。
大规模语言模型人类反馈对齐--强化学习
Hanscal
10-11 426
​OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮， 它面对多种多样的问题对答如流， 似乎已经打破了 机器和人的边界。这一工作的背后是大型语言模型 (Large Language Model，LLM) 生成领域的新训练范式：RLHF (Reinforcement Learning from Human Feedback) ，即以强化学习方式依据人类反馈优化语言模型。过去几年里各种 LLM 根据人类输入提示 (prompt) 生成多样化文本的能力令人印象深刻。
Large Language Models Enhanced Collaborative Filtering
qq_51593932的博客
12-04 910
与LLM- CF相比，KAR忽略了协同过滤信息的重要性，只考虑当前用户和项目特征来增强推荐模型，并且没有使用与推荐数据进行微调的LLM，导致我们实验中使用的真实域内数据集的性能显著下降。在本文中，我们受 LLM 的上下文学习和思维链推理的启发，提出了大型语言模型增强协同过滤 (LLM-CF) 框架，该框架将 LLM 的世界知识和推理能力提炼到协同过滤中。(2)本文提出的LLM-CF受LLM的语境学习和思维链推理的启发，将LLM的世界知识和推理能力以语境思维链的方式有效地提炼到传统的推荐模型中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ManonLegrand

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值