一文彻底搞懂大模型 - 基于人类反馈的强化学习（RLHF）

于 2024-10-09 15:58:16 发布
阅读量486 收藏 4
点赞数 9
文章标签： 人工智能 深度学习 机器学习 语言模型 ai agi LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gaga246/article/details/142789065
版权

RLHF

随着大型语言模型（LLM）的快速发展， 如何使这些模型更好地理解和满足人类的需求成为了一个关键问题 。传统的训练方法往往依赖于 大规模的语料库和基于规则的损失函数 ，但这在处理复杂、主观和依赖上下文的任务时存在局限性。因此， 基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF） 应运而生，为模型的训练提供了一种新的思路。

RLHF

一、RLHF的框架

什么是RLHF？基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF），RLHF是一种将人类反馈与强化学习相结合的方法，旨在通过引入人类偏好来优化模型的行为和输出。

在RLHF中，人类的偏好被用作奖励信号，以指导模型的训练过程，从而增强模型对人类意图的理解和满足程度。这种方法使得模型能够更自然地与人类进行交互，并生成更符合人类期望的输出。

RLHF

RLHF的框架是什么？基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）框架是一个复杂但高效的系统，包括强化学习算法、行动、环境、观察和奖励机制。

1. 强化学习算法（RL Algorithm）

在RLHF框架中，常用的强化学习算法之一是近端策略优化（Proximal Policy Optimization, PPO）。PPO是一种用于训练代理的“on-policy”算法，它直接学习和更新当前策略，而不是从过去的经验中学习。

2. 行动（Action）

在RLHF框架中，行动指的是语言模型根据给定的提示（prompt）生成的输出文本。这些输出文本是模型在尝试完成特定任务或响应特定指令时产生的。行动空间（Action Space）是词表所有token（可以简单理解为词语）在所有输出位置的排列组合。

3. 环境（Environment）

在RLHF中，环境是代理（即我们的语言模型）与之交互的外部世界，它提供了代理可以观察的状态、执行的动作以及根据这些动作给予的奖励。

  • 状态空间（State Space）：这是环境可能呈现给代理的所有可能状态的集合。在RLHF中，状态通常对应于输入给模型的提示（prompt）或上下文信息。

  • 动作空间（Action Space）：这是代理可以执行的所有可能动作的集合。在RLHF中，动作对应于模型生成的输出文本，即模型根据输入提示生成的响应。

  • 奖励函数（Reward Function）：这是一个根据代理在环境中的行为（即生成的输出）来分配奖励的函数。在RLHF中，奖励函数通常不是直接给出的，而是通过训练一个奖励模型来预测的，该奖励模型能够基于人类反馈来评估不同输出的质量。

4. 观察（Observation）

在RLHF框架中，观察指的是 模型在生成输出文本时所接受到的输入提示（prompt） 。这些提示是 模型尝试完成任务的依据，也是模型进行决策和行动的基础 。观察空间（Observation Space）是可能输入的token序列，即Prompt。

5. 奖励机制（Reward）

奖励机制是RLHF框架中的核心组成部分之一。它基于奖励模型对人类偏好的预测来给予模型奖励或惩罚。它需要使用大量的人类反馈数据来进行训练**，以确保能够准确地预测人类对不同输出的偏好。这些数据通常通过让标注人员对模型生成的输出进行排序、打分或提供其他形式的反馈来收集。

二、RLHF实战：InstructGPT训练的3个阶段

如何使用RLHF进行InstructGPT模型训练？三个阶段共同构成了InstructGPT的训练过程，通过收集描述性数据和比较性数据**，并分别训练监督学习模型和奖励模型，最后利用PPO强化学习算法对奖励模型进行优化，从而训练出能够生成高质量、符合人类偏好输出的InstructGPT模型（ChatGPT的前身）。**

第一步：收集描述性数据，并训练一个监督学习模型

  1. 从prompt数据集中采样出一部分数据。

  2. 标注员根据要求为采样的prompt编写答案，形成demonstration data。

  3. 利用这些标注好的数据来微调GPT-3模型，训练出一个监督学习模型。

关键术语：

  • Supervised Fine-Tuning（SFT）： 有监督微调，即使用描述性数据来微调GPT-3模型。

  • Demonstration Data： 描述性数据，由标注员为prompt编写的答案。

第二步：收集比较性数据，并训练一个奖励模型

  1. 从prompt数据库中取样，并得到数个模型的答案。

  2. 标注员为模型的多个输出进行打分或排序，这些输出是基于同一prompt生成的。

  3. 利用这些打分或排序数据来训练一个奖励模型（Reward Modeling，RM），该模型能够预测人类对不同输出的偏好分数。

关键术语：

  • Reward Modeling（RM）： 奖励模型，用于预测人类对不同输出的偏好分数。

  • Comparison Data： 比较性数据，由标注员对模型输出的打分或排序构成。

第三步：用PPO强化学习算法对奖励模型进行优化

  1. 从prompt数据库中另外取样。

  2. 由监督学习初始化PPO模型。

  3. 模型给出答案。

  4. 奖励模型对回答打分。

  5. 获得的分数通过PPO算法优化模型。

关键术语：

  • Proximal Policy Optimization（PPO）： 近端策略优化算法，一种用于强化学习的策略优化方法。

  • Reinforcement Learning from Human Feedback（RLHF）： 基于人类反馈的强化学习，是InstructGPT训练过程中的核心方法。

最后的最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

小涂Ss
关注
一文读懂「RLHF」基于人类反馈的进行强化学习
女王の专属领地
01-18 1万+
RLHF就是基于人类反馈（Human Feedback）对语言模型进行强化学习（Reinforcement Learning），和一般的fine-tune过程乃至prompt tuning自然也不同。多种策略产生样本并收集人类反馈训练奖励模型训练强化学习策略，微调 LM首先需要一个预训练语言模型，通过大量的语料去训练出基础模型，对于ChatGPT来说就是GPT-3。还有一个可选的Human Augmented Text,又叫Fine-tune。
一文彻底搞懂Fine-tuning - 预训练和微调（Pre-training vs Fine-tuning）
机器学习社区
08-04 1197
这种方式更加关注于模型参数层面的调整，根据是否调整全部参数，可以细分为全面微调（Full Fine-tuning）和部分/参数高效微调（Parameter-Efficient Fine-tuning, PEFT）。
大模型开发 - 一文搞懂Fine-tuning（大模型微调)
2401_86435672的博客
09-29 881
大模型微调是利用特定领域的数据集对已预训练的大模型进行进一步训练的过程。它旨在优化模型在特定任务上的性能，使模型能够更好地适应和完成特定领域的任务。
大模型到底是什么？带你一文搞懂！
2301_81723925的博客
07-24 1236
大模型是指具有大规模参数和复杂计算结构的机器学习模型。本文从大模型的基本概念出发，对大模型领域容易混淆的相关概念进行区分，并就大模型的发展历程、特点和分类、泛化与微调进行了详细解读，供大家在了解大模型基本知识的过程中起到一定参考作用。大模型是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大模型的设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 19万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
一文看尽大模型对齐技术：RLHF、RLAIF、PPO、DPO……
2201_75499313的博客
08-19 979
为此，需要对 LLM 进行持续的微调，进行迭代式 / 在线学习，即使用中间策略为 prompt 生成响应，再使用预言机（oracle）为这样的成对数据给出偏好反馈，再将这些反馈馈送给策略。相反，Anthropic 的研究者评估了大小在 13M 到 52B 之间的 7 种不同模型，这些模型的大小按 4 倍的几何级数增长。从结果上看，人类评估表明「相比于 175B 的 GPT-3，人们 更偏好 1.3B 参数版本的 InstructGPT 模型的输出，尽管后者的参数量少 100 多倍。
什么是大模型？一文读懂大模型的基本概念
weixin_46880696的博客
11-06 9万+
大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。引申到模型层面，涌现能力指的是当模型的训练数据突破一定规模，模型突然涌现出之前小模型所没有的、意料之外的、能够综合分析和解决更深层次问题的复杂能力和特性，展现出类似人类的思维和智能。ChatGPT对大模型的解释更为通俗易懂，也更体现出类似人类的归纳和思考能力：大模型本质上是一个使用海量数据训练而成的深度神经网络模型，其巨大的数据和参数规模，实现了智能的涌现，展现出类似人类的智能。
一文读懂「LM，Large Model / Foundation Model」大模型
女王の专属领地
02-03 3448
大模型是指具有大量参数的机器学习模型，通常指深度学习模型。首先，大模型这个词是建立在神经网络模型上的。神经网络是一种基于生物学神经系统结构和功能的计算模型，旨在模仿人脑的学习和决策过程该模型由多个神经元组成，这些神经元通过权重连接形成层次结构，通常分为输入层、隐藏层和输出层。输入层接收原始数据，输出层产生最终的输出，而隐藏层在这两者之间进行中间处理。神经网络通过学习调整连接权重，从而能够识别模式、进行分类、回归等任务。
《大规模语言模型从理论到实践》第一轮学习--强化学习（RLHF、PPO）
最新发布
weixin_42264784的博客
10-08 810
RLHF（Reinforcement Learning from Human Feedback）:强化学习（Reinforcement Learning）结合人类反馈（Human Feedback）来微调大语言模型。大语言模型的训练步骤包括：预训练、指令微调（SFT）、对齐。对齐（alignment）的含义是让 LLM 与人类的价值观保持一致。这就是 RLHF 的用武之地。智能体在环境中获取某个状态后，会根据该状态输出一个动作，也称为决策。
总结：一文搞懂chatGPT原理
04-27
目前关于chatGPT的资料过于零散，没有详尽所有知识点、系统概述的文章，...人类反馈强化学习 (Reinforcement Learning From Human Feedback，RLHF) 其他方法 思维链 (Chain-of-thought，CoT) 与chatGPT类似的工作
ChatGPT 核心技术大起底——InstructGPT：研究人类反馈数据比加大模型规模更重要！...
BAAIBeijing的博客
03-02 3883
导读作为ChatGPT的姊妹模型，InstructGPT的核心技术和ChatGPT有很多相通之处。参透InstructGPT的核心技术细节，有助于研究者们在ChatGPT方向上走得更远。具体来看，一味地让语言模型变大并不意味着它们能更好地遵循用户的意图。大语言模型可能会产生虚假有害的，或是对用户毫无帮助的输出。这些模型并不能匹配用户意图。去年9月，OpenAI的研究科学家Long Ouyang和S...
ChatGPT学习笔记——大模型基础理论体系
GUANYX的博客
01-03 1879
在文本预训练的基础上，ChatGPT 的基础大模型采用 159G 的代码进行了继续预训练，借助代码分步骤、分模块解决问题的特性，模型涌现出了逐步推理的能力，在模型表现上不再是随着模型规模线性增长，有了激增，打破了 scaling law；稀疏化将大量的冗余变量去除，简化模型的同时保留数据中最重要的信息。： ChatGPT 通过基于人类反馈的强化学习使模型的生成结果更符合人类预期，然而这也导致了模型的行为和偏好一定程度上反映的是标注人员的偏好，在标注人员分布不均的情况下，可能会引入新的偏见问题。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
阿利同学的博客
10-07 825
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1429
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
大模型~合集5
whaosoft~aiotの开发板商城
10-02 1607
FLock 的机制设计受到了证明权益（PoS）区块链共识机制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启发。《The Resistance》游戏则通过投票机制，每轮游戏中玩家独立推理并投票，从而实现全局共识。《The Resistance》有两个不匹配的竞争方，其中较大的一方被称为抵抗力量，另一方被称为间谍。在《The Resistance》中，有一个投票机制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「间谍」并被踢出游戏。
北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式
ys707663989的博客
10-06 1547
本文深入探讨了OpenAI o1的技术细节、的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。
【AIGC】2022-NIPS-视频扩散模型
weixin_42475026的博客
10-04 1187
生成时间连贯的高保真视频是生成模型研究的一个重要里程碑。我们提出了一种视频生成扩散模型，并取得了非常有希望的初步结果，朝着这一里程碑迈进了一步。我们的模型是标准图像扩散架构的自然延伸，它能够从图像和视频数据进行联合训练，我们发现这可以减少小批量梯度的方差并加快优化速度。为了生成长视频和高分辨率视频，我们引入了一种新的条件采样技术，用于空间和时间视频扩展，其性能优于以前提出的方法。我们展示了大型文本条件视频生成任务的第一批结果，以及视频预测和无条件视频生成的既定基准的最新结果。
树莓派外挂Camera4（pipeline）
fanged的专栏
10-03 575
现在说起Pipeline都有点迷糊了，很多都是这个概念。GStreamer里面有，相机里面有，然后还有别的地方也有。pipeline本身其实没什么特殊的，简单理解就是一段处理。晚上查了一下，确实这几个地方都叫pipeline，然后树莓派还有个自己的Post-processing，也就是后处理。今天主要说camera的和Post-processing的。
RLHF人类反馈强化学习介绍
08-15
RLHF (Reinforcement Learning from Human Feedback) 是一种强化学习的方法，用于改善模型的性能。在传统的强化学习中，模型通过与环境交互来学习并优化其行为。但是，这种方法需要大量的试错和实验，耗费时间和资源。 相比之下，RLHF 则利用了人类专家的知识和反馈来加速训练过程。它通过与人类专家进行互动，收集专家的行为数据和评估反馈，然后使用这些反馈来指导模型的训练。这种方法可以显著减少试错过程，使模型更快地学习到高质量的策略。 RLHF 的过程通常分为两个阶段：演示和反馈。在演示阶段，人类专家会提供一系列示范动作或指令，模型通过观察这些示范来学习。在反馈阶段，专家会对模型的生成结果进行评估和反馈，以帮助模型更好地调整和优化。 RLHF 在许多领域都有应用，特别是在复杂任务和现实世界环境中。它可以用于机器人控制、游戏策略优化、自动驾驶等领域。通过结合人类的专业知识和模型的自主学习能力，RLHF 可以提高模型的性能并加速训练过程，达到更好的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值