14.基于人类反馈的强化学习（RLHF）技术详解

最新推荐文章于 2024-10-08 20:09:55 发布
最新推荐文章于 2024-10-08 20:09:55 发布
阅读量662 收藏 9
点赞数 3
分类专栏： 大模型微调 文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YPeng_Gao/article/details/139691069
版权

基于人类反馈的强化学习（RLHF）技术详解

RLHF 技术拆解

RLHF 是一项涉及多个模型和不同训练阶段的复杂概念，我们按三个步骤分解：

  1. 预训练一个语言模型 (LM) ；
  2. 训练一个奖励模型 (Reward Model，RM) ；
  3. 用强化学习 (RL) 方式微调 LM。

请添加图片描述

步骤一：使用SFT微调预训练语言模型

先收集⼀个提示词集合，并要求标注⼈员写出⾼质量的回复，然后使⽤该数据集以监督的⽅式微调预训练的基础模型。对这⼀步的模型，OpenAI 在其第⼀个流⾏的 RLHF 模型 InstructGPT 中使⽤了较⼩版本的 GPT-3; Anthropic 使⽤了 1000 万 ～ 520 亿参数的 Transformer 模型进⾏训练；DeepMind 使⽤了⾃家的 2800 亿参数模型 Gopher。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
（initial）
关注
专栏目录
订阅专栏
基于人类反馈的强化学习概述
weixin_43961909的博客
09-10 165
为了加强大语言模型与人类价值观的一致性，基于人类反馈的强化学习旨在利用收集到的人类反馈数据指导大语言模型进行微调，从而使得大语言模型在多个标准（例如有用性、诚实性和无害性）上实现与人类的对齐。RLHF 首先需要收集人类对于不同模型输出的偏好，然后使用收集到的人类反馈数据训练奖励模型，最后基于奖励模型使用强化学习算法（例如 Proximal Policy Optimization, PPO）微调大语言模型。这种将人类反馈纳入大语言模型训练过程的方法已成为实现人类对齐的主要技术途径之一。
大语言模型(LLM)和基于人类反馈的强化学习(RLHF)
机器会学习的博客
05-09 4646
语言模型如此伟大和神圣，回答问题，如此快速，如此精细。从科学到艺术，它们像星星一样闪耀，让人类看起来没有那么远。
基于人类反馈的强化学习：最核心的5个步骤
Appen_China的博客
03-27 744
开发有效、可靠且合乎道德的AI应用需要从一开始便考虑周全的方法。涉及到根据人类反馈进行强化学习（RLHF）时，纳入不同观点必不可少，因为RLHF有赖于人类确定可接受的回复，并对模型加以相应训练。这意味着必须考虑所有性别、年龄、语言、领域专长、社会和文化背景以及各行各业人员的观点。然而，仅仅雇佣一群人负责点击选择是不够的。为确保AI应用没有偏见，并代表不同群体的观点，必须精心组织和训练多元化众包资源，以便在教授模型和评估结果时能够使用他们的最佳判断。
速通LLM——SFT、RLHF、对齐、RAG、微调大扫盲
2401_85379281的博客
10-02 1739
LLM（large language model）技术发展到今天，已经有许多代码和权重都开源的模型（如llama2等）供开发者下载使用。语言模型的本质是通过算法预测下一个位置上出现概率最高的字或词，LLM的预训练阶段通常是无监督或自监督的，例如通过bert模型完成类似于完型填空的任务，数据通常来源于互联网上的大量预料。预训练后的LLM已经具备了基础的语言理解或预测能力，但可能存在输出不符合人类表达习惯或道德准则，或在特定场景或垂直领域（比如数学计算，推理等）中的表现不尽人意等问题。这就需要对预训练后的大模
基于人类反馈的强化学习(RLHF) 理论
消极的人永远是对的，积极的人选择勇往直前
05-07 2022
ChatGPT 背后的“功臣”——RLHF 学习笔记
RLHF-基于人类反馈的强化学习
ahahayaa的博客
07-11 785
智能体通过采取行动与环境进行交互，并返回状态和奖励。奖励我们想要优化的目标，状态只是当前时间智能体所处环境的一种表示，智能体使用策略将该状态映射到一个动作。强化学习的精妙之处在于其学习过程是开放式的，所以智能体只通过看到这些奖励信号并学习如何随着时间的推移对获取到的奖励进行优化，而不去关注奖励实际的来源如何。这样可以使得我们构建一个可以解决复杂问题的智能体，这是为什么我们选用强化学习来解决场景对话这样一个开放式问题的原因，而这也是我们开始讨论RLHF(Reinforcement Learning From
基于人类反馈的强化学习（RLHF）
samoyan的博客,记录技术成长~
12-28 667
例如，在InstructGPT项目中，使用PPO算法训练LM时，会计算LM当前输出与初始输出之间的KL散度作为惩罚项。例如，InstructGPT项目中，标注人员会创造性地编写输入提示（比如，“给出五个重燃职业激情的建议”）和对应的输出，覆盖了开放式问答、创意思考、对话和文本重写等多种创造性任务。值得注意的是，在某些情况下，这一步骤可能不是必需的。以InstructGPT为例，标注人员会将模型生成的输出按照质量从高到低排序，然后基于这些排名训练GPT-3（一个拥有600亿参数的模型）来预测这些排名。
RLHF（从人类反馈中进行强化学习）详解（一）
TheJustice_的博客
05-30 4124
RLHF，即Reinforcement Learning from Human Feedback（从人类反馈中进行强化学习），是一种结合了机器学习中的强化学习算法与人类主观判断的训练技术。这种方法旨在利用人类的直觉和判断力来指导人工智能系统学习更复杂、更贴近人类期望的行为模式，尤其是在自然语言处理（NLP）和决策制定等领域。
ChatGPT 背后的RLHF 技术详解
05-01
它的核心在于使用了强化学习（Reinforcement Learning, RL）与人类反馈（Human Feedback, HF）相结合的技术，即RLHF（Reinforcement Learning from Human Feedback），以实现更加自然、准确且具有人性化的对话交互。...
ChatGPT 中的人类反馈强化学习 (RLHF) 实战
community_301的博客
05-25 961
在当今数字化的时代，ChatGPT 的火热程度不断升级。ChatGPT 可以处理复杂的语言任务，从而解放人力资源，提高工作效率，减少成本。ChatGPT 的先进技术和广泛应用，使得它成为了当今最炙手可热的人工智能技术之一。无论是企业、学术机构，还是科技爱好者，都对 ChatGPT 的应用前景充满期待。在这样的背景之下，CSDN AI 团队也想对 ChatGPT 进行简单的复现。根据ChatGPT官方博客可知，ChatGPT的训练方法与的训练方法基本一致 (如图1所示)，只是使用的数据集不一样。
ChatGPT 中的人类反馈强化学习 (RLHF) 实战，看这篇就够了
community_301的博客
05-29 391
在当今数字化的时代，ChatGPT 的火热程度不断升级。ChatGPT 可以处理复杂的语言任务，从而解放人力资源，提高工作效率，减少成本。ChatGPT 的先进技术和广泛应用，使得它成为了当今最炙手可热的人工智能技术之一。无论是企业、学术机构，还是科技爱好者，都对 ChatGPT 的应用前景充满期待。在这样的背景之下，CSDN AI 团队也想对 ChatGPT 进行简单的复现。根据ChatGPT官方博客可知，ChatGPT的训练方法与的训练方法基本一致 (如图1所示)，只是使用的数据集不一样。
一文读懂「RLHF」基于人类反馈的进行强化学习
热门推荐
女王の专属领地
01-18 1万+
RLHF就是基于人类反馈（Human Feedback）对语言模型进行强化学习（Reinforcement Learning），和一般的fine-tune过程乃至prompt tuning自然也不同。多种策略产生样本并收集人类反馈训练奖励模型训练强化学习策略，微调 LM首先需要一个预训练语言模型，通过大量的语料去训练出基础模型，对于ChatGPT来说就是GPT-3。还有一个可选的Human Augmented Text,又叫Fine-tune。
【人工智能 Open AI 】关于从人类反馈 (RLHF) 中强化学习
AI天才研究院
02-24 5014
2022 年 12 月 9 日发布。GitHub 上的更新在过去的几年中，语言模型通过根据人类输入提示生成多样化且引人注目的文本显示出令人印象深刻的能力。然而，什么才是“好”文本本质上很难定义，因为它是主观的并且依赖于上下文。有许多应用程序，例如编写您需要创意的故事、应该真实的信息性文本片段，或者我们希望可执行的代码片段。or编写一个损失函数来捕获这些属性似乎很棘手，而且大多数语言模型仍然使用简单的下一个标记预测损失（例如交叉熵）进行训练。
基于人类反馈的强化学习（RLHF）入门指南
安静的软件工程师
03-08 1418
基于人类反馈的强化学习（RLHF）入门指南
什么是从人类反馈中强化学习（RLHF）？
pantouyuchiyu的博客
07-19 1611
自从OpenAI公司发布ChatGPT以来，人们对大型语言模型(LLM)的这一重大进步感到兴奋。虽然ChatGPT与其他最先进的大型语言模型大小相同，但其性能要高得多，并且承诺支持新的应用程序或颠覆取代原有的应用程序。
【有啥问啥】什么是RLHF（基于人类反馈的强化学习）？
Chauvin的博客
07-11 1621
基于人类反馈的强化学习（RLHF）是一种结合强化学习和人类反馈的技术，通过人类对智能体行为的评价，指导智能体的学习过程，使其行为更符合人类期望。本文通过公式、通俗易懂的示例和简化的代码解释了RLHF的基本原理和实现方法，并介绍了一些常用的技巧，以帮助读者更好地理解和应用这一技术。希望这些内容能够为读者提供有价值的参考。
一文彻底搞懂大模型 - 基于人类反馈的强化学习（RLHF）
最新发布
m0_59164520的博客
10-08 1755
随着大型语言模型（LLM）的快速发展，如何使这些模型更好地理解和满足人类的需求成为了一个关键问题。传统的训练方法往往依赖于大规模的语料库和基于规则的损失函数，但这在处理复杂、主观和依赖上下文的任务时存在局限性。因此，基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）应运而生，为模型的训练提供了一种新的思路。RLHF一、RLHF的框架什么是RLHF？基于人类反馈的强化学习（Reinforcement Learning from Human
探索HH-RLHF：强化学习与人类反馈的创新结合
gitblog_00009的博客
03-26 398
探索HH-RLHF：强化学习与人类反馈的创新结合 hh-rlhfHuman preference data for "Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback"项目地址:https://gitcode.com/gh_mirrors/hh/hh-rlhf 在人工...
微调实操三:人类反馈对语言模型进行强化学习(RLHF)
youbingchen的博客
02-21 1935
但是, 这些模型有时可能表现出意外的行为，例如制造虚假信息、追求不准确的目标，以及产生有害的、误导性的和偏见性的表达。在此设置中，预训练的 LM 作为策略，将提示作为输入并返回输出文本，它的动作空间是 LM 的词表，状态是当前生成的 token 序列，奖励由 RM 生成。然后，需要训练 RM 预测人类偏好的输出。1.1.1 RM(Reward Model)奖励模型建模，构造人类偏好排序数据集，训练奖励模型，用来建模人类偏好，主要是"HHH"原则，具体是"helpful, honest, harmless"
Pytorch+PaLM实现RLHF强化学习算法及项目源码发布
资源摘要信息: "强化学习-基于Pytorch+PaLM架构实现的带有人类反馈的RLHF强化学习算法-附项目源码-优质项目实战.zip" 该资源涵盖了强化学习领域的先进技术和实现方法。具体来说，它将介绍如何利用Pytorch框架和PaLM...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

（initial）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值