ChatGPT 中的人类反馈强化学习 (RLHF) 实战，看这篇就够了

已于 2023-05-31 15:29:43 修改
阅读量228 收藏 1
点赞数
分类专栏： 博客质量分测试 文章标签： chatgpt 人工智能 深度学习
于 2023-05-29 17:12:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/community_301/article/details/130932513
版权
本文介绍了ChatGPT中的人类反馈强化学习（RLHF）实战，涵盖奖励模型的训练和PPO算法的应用。通过与人类交互并根据反馈优化回答质量，RLHF提升了ChatGPT的性能。奖励模型基于SFT Model的回复打分，而PPO算法通过策略和价值网络更新策略，确保模型输出连贯的文本。
摘要由CSDN通过智能技术生成

团队博客: CSDN AI小组

相关阅读

  • ChatGPT 简介
  • 大语言模型浅探一
  • 关于 ChatGPT 必看的 10 篇论文
  • 从 ELMo 到 ChatGPT：历数 NLP 近 5 年必看大模型

1 前言
在当今数字化的时代，ChatGPT 的火热程度不断升级。ChatGPT 可以处理复杂的语言任务，从而解放人力资源，提高工作效率，减少成本。ChatGPT 的先进技术和广泛应用，使得它成为了当今最炙手可热的人工智能技术之一。无论是企业、学术机构，还是科技爱好者，都对 ChatGPT 的应用前景充满期待。

在这样的背景之下，CSDN AI 团队也想对 ChatGPT 进行简单的复现。根据ChatGPT 官方博客可知，ChatGPT的训练方法与 InstructGPT 的训练方法基本一致 (如图1所示)，只是使用的数据集不一样。故在训练方法上，我们主要参考 InstructGPT 进行复现，基础模型使用的是 RWKV，拆分后共包含以下四个阶段：

  • (1) 语言模型预训练 (Language Model Pre-training)；
  • (2) 有监督指令微调 (Supervised Fine-Tuning, SFT)；
  • (3) 奖励模型的训练 (Reward Modeling, RM);
  • (4) 使用近端策略优化算法进行强化学习 (Proximal Policy Optimization, PPO).

第 (1)、(2) 阶段的 Pre-training 和 SFT 由 @zxm2015 完成，可参考文章 大语言模型浅探一。本文主要介绍第 (3)、(4) 阶段的内容，即人类反馈强化学习 (Reinforceme

最低0.47元/天 解锁文章
community_301
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RLHF：人类反馈强化学习的核心原理
禅与计算机程序设计艺术
03-16 220
1. 背景介绍 1.1 人工智能的发展 随着计算机技术的飞速发展，人工智能（AI）已经成为了当今科技领域的热门话题。从早期的基于规则的专家系统，到现在的深度学习和强化学习，人工智能技术不断地突破自身的局限，为人类带来了前所未有的便利。 1.2 强化学习的
RLHF（基于人类反馈的强化学习）算法的简单实现。.zip
05-11
RLHF（基于人类反馈的强化学习）算法的简单实现。 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一。它主要用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。强化学习的特点在于没有监督数据，只有奖励信号。 强化学习的常见模型是标准的马尔可夫决策过程（Markov Decision Process, MDP）。按给定条件，强化学习可分为基于模式的强化学习（model-based RL）和无模式强化学习（model-free RL），以及主动强化学习（active RL）和被动强化学习（passive RL）。强化学习的变体包括逆向强化学习、阶层强化学习和部分可观测系统的强化学习。求解强化学习问题所使用的算法可分为策略搜索算法和值函数（value function）算法两类。 强化学习理论受到行为主义心理学启发，侧重在线学习并试图在探索-利用（exploration-exploitation）间保持平衡。不同于监督学习和非监督学习，强化学习不要求预先给定任何数据，而是通过接收环境对动作的奖励（反馈）获得学习信息并更新模型参数。强化学习问题在信息论、博弈论、自动控制等领域有得到讨论，被用于解释有限理性条件下的平衡态、设计推荐系统和机器人交互系统。一些复杂的强化学习算法在一定程度上具备解决复杂问题的通用智能，可以在围棋和电子游戏中达到人类水平。 强化学习在工程领域的应用也相当广泛。例如，Facebook提出了开源强化学习平台Horizon，该平台利用强化学习来优化大规模生产系统。在医疗保健领域，RL系统能够为患者提供治疗策略，该系统能够利用以往的经验找到最优的策略，而无需生物系统的数学模型等先验信息，这使得基于RL的系统具有更广泛的适用性。 总的来说，强化学习是一种通过智能体与环境交互，以最大化累积奖励为目标的学习过程。它在许多领域都展现出了强大的应用潜力。
ChatGPT 中的人类反馈强化学习 (RLHF) 实战
community_301的博客
05-25 276
按照上述奖励模型的输入输出描述，构建数据集时应该是人工对 进行打分，但实际上对多个回答进行打分比较困难，得分是连续的，这会降低标注的速度。训练好奖励模型之后，就可以用于下一阶段的 PPO 进行强化学习的调优，奖励模型是 PPO 中的一个子部分，用于 PPO 训练时提供奖励信号。其中，r(x,y) 为 输入到 RM 模型的得分，θ 是 RM 的参数，yw 和 yl 是输入为 x 时，SFT Model 生成的不同回答，其中人工标注时 yw > yl.
RLHF（从人类反馈中进行强化学习）详解（一）
最新发布
TheJustice_的博客
05-30 3114
RLHF，即Reinforcement Learning from Human Feedback（从人类反馈中进行强化学习），是一种结合了机器学习中的强化学习算法与人类主观判断的训练技术。这种方法旨在利用人类的直觉和判断力来指导人工智能系统学习更复杂、更贴近人类期望的行为模式，尤其是在自然语言处理（NLP）和决策制定等领域。
如何利用强化学习算法提高ChatGPT的智能程度和学习效率？
ChatGPTxzAi的博客
05-12 226
对话模型的基本结构可以分为两种类型：基于检索的对话模型和基于生成的对话模型。这些方法可以帮助对话模型在与用户的交互过程中，不断优化自己的回复策略，使得生成的回复更加准确、自然、流畅。通过定义合适的奖励函数、设计合适的状态空间、充分利用数据资源和不断优化模型，可以实现对话模型的持续优化，提高对话系统的智能程度和学习效率。强化学习算法在对话系统中已经得到了广泛的应用。在未来，随着强化学习算法的不断发展和应用，对话系统的智能程度和学习效率将得到更大的提升，将会在人机交互、智能客服、语音识别等领域得到广泛的应用。
什么是RLHF
热门推荐
penguinli的博客
05-11 1万+
*字面翻译：**RLHF (Reinforcement Learning from Human Feedback) ，即以强化学习方式依据人类反馈优化语言模型。强化学习从人类反馈（RLHF）是一种先进的AI系统训练方法，它将强化学习与人类反馈相结合。它是一种通过将人类训练师的智慧和经验纳入模型训练过程中，创建更健壮的学习过程的方法。该技术涉及使用人类反馈创建奖励信号，然后通过强化学习来改善模型的行为。
RLHF知识
bbbeoy的专栏
03-24 1073
然而，对生成结果的评估是主观和依赖上下文的，这些结果难以用现有的基于规则的文本生成指标 (如 BLUE 和 ROUGE) 来衡量。除了评估指标，现有的模型通常以预测下一个单词的方式和简单的损失函数 (如交叉熵) 来建模，没有显式地引入人的偏好和主观意见。因此，训练阶段，如果直接用人的偏好（或者说人的反馈）来对模型整体的输出结果计算reward或loss，显然是要比上面传统的“给定上下文，预测下一个词”的损失函数合理的多。：即使用强化学习的方法，利用人类反馈信号直接优化语言模型。
强化学习-基于Pytorch+PaLM架构实现的带有人类反馈的RLHF强化学习算法-附项目源码-优质项目实战.zip
05-27
在这个项目中，我们将关注一个特别的强化学习实现，即基于PyTorch和PaLM架构的RLHF（Reinforcement Learning with Human Feedback，带有人类反馈的强化学习）算法。 PyTorch是Facebook开发的一个强大的深度学习框架...
ChatGPT前身，从人类反馈中学习
05-06
ChatGPT和InstructGPT是一对孪生兄弟，它们在模型结构和训练方式上都完全一致，核心思想在于使用指示学习（Instruction Learning）和人工反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）来指导...
解读 ChatGPT 背后的技术重点：RLHF、IFT、CoT、红蓝对抗 - 知乎.pdf
05-18
解读 ChatGPT 背后的技术重点：RLHF、IFT、CoT、红蓝对抗 - 知乎.pdf
解读 ChatGPT 背后的技术重点：RLHF、IFT、CoT、红蓝对抗
02-22
在 ChatGPT 中，RLHF 用于学习人类反馈的结果，以提高对话代理的回答准确性和可读性。RLHF 的主要思想是，人类用户会为对话代理的回答进行反馈，例如，是否有用、是否准确、是否有趣等。然后，模型根据反馈结果进行...
大模型入门（六）—— RLHF微调大模型
chaishen10000的专栏
06-15 4789
所以价值的计算如下：核心是下面的delta的计算，除了考虑到当前的时刻的奖励值，还考虑到了未来时刻的输出的奖励值nextvalues（只不过这里的奖励值是由critic网络直接输出的每个token对应的分数）。从上图可以看出，给定一个输入x，会生成两个文本y11和y22，一个来自于初始的模型，另一个来自于微调的模型，微调的模型生成的文本还会进入到奖励模型中打分输出rθ，而初始模型和微调的模型生成的结果会用KL散度约束它们的分布，确保模型不会太偏离原来的模型，并且能输出高质量的回复。
一文读懂「RLHF」基于人类反馈的进行强化学习
女王の专属领地
01-18 5905
RLHF就是基于人类反馈（Human Feedback）对语言模型进行强化学习（Reinforcement Learning），和一般的fine-tune过程乃至prompt tuning自然也不同。多种策略产生样本并收集人类反馈训练奖励模型训练强化学习策略，微调 LM首先需要一个预训练语言模型，通过大量的语料去训练出基础模型，对于ChatGPT来说就是GPT-3。还有一个可选的Human Augmented Text,又叫Fine-tune。
ChatGPT工作原理与技术细节
duoshehuan6005的博客
02-21 1万+
一项适当的（但昂贵的）对照研究将包括投入与用于训练奖励模型的标记工时数完全相同的时间，以创建具有高质量演示数据的更大的精选 SFT 数据集。尽管从数学上讲，机器计算出的单词序列的统计分布可能是对语言建模的一种非常有效的选择，但作为人类，我们通过选择最适合给定情况的文本序列来生成语言，并使用我们的背景知识和常识来指导这个流程。更一般地说，这些训练策略可能会导致语言模型在某些更复杂的任务中出现偏差，因为仅经过训练以预测文本序列中的下一个词（或掩码词）的模型可能不一定会学习一些其含义的更高层次的表示。
RLHF-基于人类反馈的强化学习
ahahayaa的博客
07-11 672
智能体通过采取行动与环境进行交互，并返回状态和奖励。奖励我们想要优化的目标，状态只是当前时间智能体所处环境的一种表示，智能体使用策略将该状态映射到一个动作。强化学习的精妙之处在于其学习过程是开放式的，所以智能体只通过看到这些奖励信号并学习如何随着时间的推移对获取到的奖励进行优化，而不去关注奖励实际的来源如何。这样可以使得我们构建一个可以解决复杂问题的智能体，这是为什么我们选用强化学习来解决场景对话这样一个开放式问题的原因，而这也是我们开始讨论RLHF(Reinforcement Learning From
RLHF：人类反馈强化学习的核心概念
AI架构设计之禅
03-03 248
1.背景介绍 1.1 强化学习的兴起 强化学习（Reinforcement Learning，RL）是近年来人工智能领域的热门研究方向，它是一种通过与环境的交互来学习最优策略的机器学习方法。强化学习的目标是找到一个策略，使得在与环境的交互过程中，能够最大化累积奖励。
RLHF：高效的强化学习算法框架
禅与计算机程序设计艺术
02-24 1074
1. 背景介绍 1.1 强化学习的发展 强化学习（Reinforcement Learning，简称RL）是一种通过与环境交互来学习最优行为策略的机器学习方法。近年来，随着深度学习技术的发展，强化学习在很多领域取得了显著的成果，如AlphaGo、无人驾驶、机器人控制等。然而，强化学习算法的效率和稳定性
InstructGPT论文笔记
weixin_46133588的博客
03-01 647
instructGPT论文笔记
ChatGPT 科普学习解读
02-23
GPT-3.5通过大量的互联网数据进行训练，特别是利用“人类反馈强化学习（RLHF）”方法，这一过程涉及双向交互，即机器提问人类回答，人类提问机器生成答案，这种迭代过程使得模型具备了自我评估和生成高质量文本的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值