一文彻底搞懂大模型 - 基于人类反馈的强化学习（RLHF）

最新推荐文章于 2025-03-13 13:59:59 发布
最新推荐文章于 2025-03-13 13:59:59 发布
阅读量1.3k 收藏 8
点赞数 15
文章标签： 人工智能 深度学习 机器学习 语言模型 ai agi LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gaga246/article/details/142789065
版权

RLHF

随着大型语言模型（LLM）的快速发展， 如何使这些模型更好地理解和满足人类的需求成为了一个关键问题 。传统的训练方法往往依赖于 大规模的语料库和基于规则的损失函数 ，但这在处理复杂、主观和依赖上下文的任务时存在局限性。因此， 基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF） 应运而生，为模型的训练提供了一种新的思路。

RLHF

一、RLHF的框架

什么是RLHF？基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF），RLHF是一种将人类反馈与强化学习相结合的方法，旨在通过引入人类偏好来优化模型的行为和输出。

在RLHF中，人类的偏好被用作奖励信号，以指导模型的训练过程，从而增强模型对人类意图的理解和满足程度。这种方法使得模型能够更自然地与人类进行交互，并生成更符合人类期望的输出。

RLHF

RLHF的框架是什么？基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）框架是一个复杂但高效的系统，包括强化学习算法、行动、环境、观察和奖励机制。

1. 强化学习算法（RL Algorithm）

在RLHF框架中，常用的强化学习算法之一是近端策略优化（Proximal Policy Optimization, PPO）。PPO是一种用于训练代理的“on-policy”算法，它直接学习和更新当前策略，而不是从过去的经验中学习。

2. 行动（Action）

在RLHF框架中，行动指的是语言模型根据给定的提示（prompt）生成的输出文本。这些输出文本是模型在尝试完成特定任务或响应特定指令时产生的。行动空间（Action Space）是词表所有token（可以简单理解为词语）在所有输出位置的排列组合。

3. 环境（Environment）

在RLHF中，环境是代理（即我们的语言模型）与之交互的外部世界，它提供了代理可以观察的状态、执行的动作以及根据这些动作给予的奖励。

  • 状态空间（State Space）：这是环境可能呈现给代理的所有可能状态的集合。在RLHF中，状态通常对应于输入给模型的提示（prompt）或上下文信息。

  • 动作空间（Action Space）：这是代理可以执行的所有可能动作的集合。在RLHF中，动作对应于模型生成的输出文本，即模型根据输入提示生成的响应。

  • 奖励函数（Reward Function）：这是一个根据代理在环境中的行为（即生成的输出）来分配奖励的函数。在RLHF中，奖励函数通常不是直接给出的，而是通过训练一个奖励模型来预测的，该奖励模型能够基于人类反馈来评估不同输出的质量。

4. 观察（Observation）

在RLHF框架中，观察指的是 模型在生成输出文本时所接受到的输入提示（prompt） 。这些提示是 模型尝试完成任务的依据，也是模型进行决策和行动的基础 。观察空间（Observation Space）是可能输入的token序列，即Prompt。

5. 奖励机制（Reward）

奖励机制是RLHF框架中的核心组成部分之一。它基于奖励模型对人类偏好的预测来给予模型奖励或惩罚。它需要使用大量的人类反馈数据来进行训练**，以确保能够准确地预测人类对不同输出的偏好。这些数据通常通过让标注人员对模型生成的输出进行排序、打分或提供其他形式的反馈来收集。

二、RLHF实战：InstructGPT训练的3个阶段

如何使用RLHF进行InstructGPT模型训练？三个阶段共同构成了InstructGPT的训练过程，通过收集描述性数据和比较性数据**，并分别训练监督学习模型和奖励模型，最后利用PPO强化学习算法对奖励模型进行优化，从而训练出能够生成高质量、符合人类偏好输出的InstructGPT模型（ChatGPT的前身）。**

第一步：收集描述性数据，并训练一个监督学习模型

  1. 从prompt数据集中采样出一部分数据。

  2. 标注员根据要求为采样的prompt编写答案，形成demonstration data。

  3. 利用这些标注好的数据来微调GPT-3模型，训练出一个监督学习模型。

关键术语：

  • Supervised Fine-Tuning（SFT）： 有监督微调，即使用描述性数据来微调GPT-3模型。

  • Demonstration Data： 描述性数据，由标注员为prompt编写的答案。

第二步：收集比较性数据，并训练一个奖励模型

  1. 从prompt数据库中取样，并得到数个模型的答案。

  2. 标注员为模型的多个输出进行打分或排序，这些输出是基于同一prompt生成的。

  3. 利用这些打分或排序数据来训练一个奖励模型（Reward Modeling，RM），该模型能够预测人类对不同输出的偏好分数。

关键术语：

  • Reward Modeling（RM）： 奖励模型，用于预测人类对不同输出的偏好分数。

  • Comparison Data： 比较性数据，由标注员对模型输出的打分或排序构成。

第三步：用PPO强化学习算法对奖励模型进行优化

  1. 从prompt数据库中另外取样。

  2. 由监督学习初始化PPO模型。

  3. 模型给出答案。

  4. 奖励模型对回答打分。

  5. 获得的分数通过PPO算法优化模型。

关键术语：

  • Proximal Policy Optimization（PPO）： 近端策略优化算法，一种用于强化学习的策略优化方法。

  • Reinforcement Learning from Human Feedback（RLHF）： 基于人类反馈的强化学习，是InstructGPT训练过程中的核心方法。

最后的最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一文读懂「RLHF」基于人类反馈的进行强化学习
女王の专属领地
01-18 3万+
RLHF就是基于人类反馈（Human Feedback）对语言模型进行强化学习（Reinforcement Learning），和一般的fine-tune过程乃至prompt tuning自然也不同。多种策略产生样本并收集人类反馈训练奖励模型训练强化学习策略，微调 LM首先需要一个预训练语言模型，通过大量的语料去训练出基础模型，对于ChatGPT来说就是GPT-3。还有一个可选的Human Augmented Text,又叫Fine-tune。
一文看懂DeepSeek普通人：国产大模型的突破性进展
最新发布
TechEnthusiast的博客
03-30 139
DeepSeek普通人是由DeepSeek团队推出的一款定位于日常助手的大语言模型，区别于其他更加学术化或专业化的AI模型，它以贴近普通用户的交互风格和解决日常问题的能力为核心特色。
AB实验人群定向HTE模型1 - Causal Tree
2401_84495725的博客
05-29 904
Treatment effect之所以比通常的预测问题要更难解决，因为groud-truth在现实中是无法直接观测到的，一个人在同一时刻要么吃药要不么吃药，所以你永远无法知道吃药的人要是没吃药血压会不会也降低，或者没吃药的人要是吃了药血压会不会降低。相似的问题经常出现在经济，政治决策，医疗研究以及当下的互联网AB测试中。作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1260
参考 [小学生也能听得懂的大模型 Transformer 1]
基于人类反馈的强化学习微调 (RLHF) (Reinforcement Learning from Human Feedback (RLHF) Fine-tuning)
YPeng_Gao的博客
03-13 1073
从 RLHF 的必要性、核心目标， 到完整流程 (SFT 模型训练、奖励模型训练、强化学习训练) 和关键算法 (PPO)， 再到 RLHF 面临的挑战和未来展望， 我们对 RLHF 进行了全方位、深层次的剖析。RLHF 并非一蹴而就， 而是一个精细的三阶段训练流程， 每一步都环环相扣， 共同构建了 RLHF 的完整技术体系， 最终打造出更聪明的模型。KL 散度可以衡量两个概率分布的相似程度， KL 散度越大， 说明新旧 Policy 差异越大， 惩罚也越大。
人工智能的三个发展阶段
热门推荐
weixin_45726854的博客
02-28 2万+
人工智能的三个发展阶段 1.人工智能的推理阶段（1950-1970） 这一阶段，大多数人认为，实现人工智能只需要赋予机器逻辑推理能力就可以，因此，机器只是具备了逻辑推理能力，并未达到智能化水平。 2.人工智能的知识工程阶段（1970-1990） 这一阶段，人们普遍认为，只有让机器学习知识之后才可以实现人工智能。在这种情况下，大量的专家系统被开发出来。但人们发现，给机器灌输已经总结好的知识并不是一件容易的事。 3.人工智能的数据挖掘阶段（2000-） 目前，已经提出的机器学习算法都得到了非常好的应用。深度学习
人工智能的历史与未来，主要划分为了哪三个阶段
多智时代的博客
03-23 1万+
事物飞速发展之时，往往需要你停下脚步，回顾自己所处的位置，否则你会很容易陷入对细节的兴奋之中。构成人工智能基础的数据科技正以不同的方式向前发展，而且速度飞快。因此，在你改变职业之前，或者决定使用人工智能扩展业务时，让我们首先对人工智能做一个鸟瞰，以帮助理解我们所处的位置以及未来走向。 人工智能的三个阶段 我们倾向于把人工智能看做新事物，尤其是新技术以及和深度学习相关的新技巧。然而，人工智能已经过数...
人工智能三个发展期
weixin_34080903的博客
12-02 536
一 乐观期(1950-1968)    大家都认为自己找到了智能的关键点,都不遗余力花大精力去研究,以Marvin MinSky,Frank Roseblatt,Bread Widrow为代表性人物,作品是单级感知器的出现,可以采用电子线路来进行模拟. 二 反思期(1969-1982)    异或无法表示,造成了极大的困惑,但是坚定了认识-实践-再认识的目标 三 小突破期(1983...
一文读懂「LM，Large Model / Foundation Model」大模型
女王の专属领地
02-03 5617
大模型是指具有大量参数的机器学习模型，通常指深度学习模型。首先，大模型这个词是建立在神经网络模型上的。神经网络是一种基于生物学神经系统结构和功能的计算模型，旨在模仿人脑的学习和决策过程该模型由多个神经元组成，这些神经元通过权重连接形成层次结构，通常分为输入层、隐藏层和输出层。输入层接收原始数据，输出层产生最终的输出，而隐藏层在这两者之间进行中间处理。神经网络通过学习调整连接权重，从而能够识别模式、进行分类、回归等任务。
一文读懂大语言模型：基础概念篇
孟林洁的博客
08-26 3956
在当今AI时代，大语言模型正以前所未有的速度重塑我们的世界。作为NLP领域的明星，它们不仅理解语言，更创造语言，开启了智能交互的新纪元。 本文将介绍着重介绍大模型的概念，帮助大家简单了解其技术原理、发展历程，并介绍国内外比较优秀的大模型。
ChatGPT 核心技术大起底——InstructGPT：研究人类反馈数据比加大模型规模更重要！...
BAAIBeijing的博客
03-02 4013
导读作为ChatGPT的姊妹模型，InstructGPT的核心技术和ChatGPT有很多相通之处。参透InstructGPT的核心技术细节，有助于研究者们在ChatGPT方向上走得更远。具体来看，一味地让语言模型变大并不意味着它们能更好地遵循用户的意图。大语言模型可能会产生虚假有害的，或是对用户毫无帮助的输出。这些模型并不能匹配用户意图。去年9月，OpenAI的研究科学家Long Ouyang和S...
人工智能的三个阶段计算智能，感知智能和认知智能
xx_nm98的博客
10-07 3498
人工智能技术的发展是一个蜿蜒曲折的道路人工智能技术是一项复杂的系统性工程，而且更多时候它只是一个概念性的技术；没有有人知道人工智能应该是什么样，也没有人知道应该怎么才能实现人工智能。所以，人工智能技术经过几十年的发展，一直是在蜿蜒曲折的前进；所以，研究者们就根据人工智能技术发展的现状以及对其未来的期望总结了人工智能技术发展的几个阶段。而现在的人工智能技术即将要进入认知智能阶段。‍‍‍人工智能技术发展的三个阶段行业一般将人工智能发展分为三个阶段，分别是计算智能，感知智能和认知智能。
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 5021
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
一文剖析AI大模型技术架构的全景视图：从基础实施层、云原生层、模型层、应用技术层、能力层、到应用层...
musicml的博客
09-05 1473
▼最近直播超级多，预约保你有收获—1—AI 大模型技术架构全景图AI 大模型已经在具体的业务场景落地实践，本文通过梳理 AI 大模型技术架构的全景视图，让你全面了解 AI 大模型技术的各个层次，从基础实施层、云原生层、模型层、应用技术层、能力层、到应用层，如下图所示，揭示 AI 大模型如何在不同的层面上协同工作，推动产业应用的落地。一、 基础设施层AI 大模型技术发展离不开坚实的基础设施支...
一文彻底搞懂大模型 - RAG（检索、增强、生成）
lvaolan168的博客
12-11 3409
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。前排提示，文末有大模型AGI-CSDN独家资料包哦！一、检索增强生成（RAG）什么
大模型LLM | AI Agent（智能体）：从技术概念到场景落地
star_nwe的博客
10-03 1394
通过更复杂的指令（Prompt），AI能够独立拆分任务、利用工具，并最终完成任务。用户的角色转变为设定目标、提供必要资源和监督任务的执行结果。这三种模式展示了从用户主导到AI主导的连续统一体，每种模式都适用于不同的应用场景和需求。
LLM大模型和数据标注
sparkapi的博客
01-10 5169
在正式开始前我们先简单介绍下数据标注和常用场景数据标注是对数据中的特定元素进行识别、描述和分类，以训练机器学习模型的过程。标注后的数据将用于处理、预测基础模型或者对真实生活数据进行响应。它有助于模型或神经网络学习并做出决策，从而产生所需的结果。例如，OCR系统需要识别原始数据中的个人身份信息。为此，标注人员会在训练样本上标注姓名、身份证和联系方式。然后，机器学习工程师用数据集训练模型，以实现OCR实体识别，并从存储的文档中提取个人详细信息。数据标注看似简单，但各种参数可能会影响标注结果和模型性能。
3.⼈⼯智能的三个阶段（Artificial Intelligence as an idiot）
adamlay的博客
10-29 856
3.1 规则阶段 ⼈⼯智能发展曲线 ⼈⼯智能发展历史，始祖——图灵 ⼈⼯智能1.0——图灵机 3.2 机器学习阶段发展⾄连接主义阶段 第⼀阶段，符号学派，规则阶段 第⼆阶段利⽤数据反向⼯程，即算法，可以⾃身学习的算法 统计模型（如下图），共同特点：①使⽤数据改变⾃身结构，②模拟⼈的思维 3.4 连接主义阶段发展至学习阶段 ...
人类反馈强化学习RLHF
12-26
### 人类反馈强化学习 (RLHF) 的概念 人类反馈强化学习(RLHF)，作为一种创新性的机器学习方法，融合了强化学习(Reinforcement Learning, RL)与来自人类专家的直接反馈。这种方法旨在通过引入外部的人类监督来改进智能体(agent)的学习效率和效果，在处理复杂任务时尤为有效[^1]。 ### RLHF的工作原理 在RLHF框架下，整个学习流程被划分为几个关键阶段： - **预训练**：首先采用大规模无标注数据集对语言模型进行初步训练，使模型具备基本的语言理解和生成能力。 - **奖励模型构建**：接着收集由真实用户提供的对话样本，并邀请人工评估者针对每一对话给出评分；随后以此为基础建立专门用于衡量回复质量高低的奖励函数或称为偏好模型(preference model)[^2]。 - **强化学习微调**：最后一步则是借助上述获得的奖励信号作为指导，运用PPO(Policy Gradient with Proximal Policy Optimization)等算法进一步优化初始预训练得到的大规模语言模型参数配置，从而实现性能提升的目的[^3]。 ```python import torch.nn as nn from transformers import AutoModelForCausalLM, Trainer, TrainingArguments class RewardModel(nn.Module): def __init__(self, base_model_name="gpt2"): super().__init__() self.base_model = AutoModelForCausalLM.from_pretrained(base_model_name) def forward(self, input_ids, attention_mask=None): outputs = self.base_model(input_ids=input_ids, attention_mask=attention_mask) logits = outputs.logits[:, -1, :] return logits def train_reward_model(training_data_path="./data/reward_training.jsonl", output_dir="./results/"): training_args = TrainingArguments( per_device_train_batch_size=8, num_train_epochs=3, logging_steps=10, save_strategy='epoch', output_dir=output_dir ) trainer = Trainer( model=RewardModel(), args=training_args, data_collator=data_collator, tokenizer=tokenizer, compute_metrics=compute_metrics_function ) trainer.train() ``` 这段Python代码展示了如何定义一个简单的基于Transformer架构的奖励模型以及对其进行训练的过程。实际应用中可能还需要考虑更多细节和技术调整以适应具体场景需求。 ### RLHF的应用实例 RLHF已被广泛应用于自然语言处理领域内的多个方面，比如聊天机器人(chatbot)开发、自动问答系统(Q&A system)建设等方面。特别是对于像ChatGPT这样的大型预训练语言模型而言，通过融入人类反馈机制能够显著改善其交互体验和服务质量，使得机器的回答更加贴近用户的期望并具有更高的实用价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值