大模型的训练与调优，SFT(监督微调)和RLHF(基于人类反馈的强化学习)到底是什么？

最新推荐文章于 2025-05-01 03:06:03 发布
最新推荐文章于 2025-05-01 03:06:03 发布
阅读量4.1k 收藏 17
点赞数 18
文章标签： 人工智能 llama 文心一言 机器学习 回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59235699/article/details/140879947
版权

“大模型设计，训练，微调，强化是一个系统性的过程”

大模型的训练和调优是一个系统性的，复杂性的过程；为此，研究人员为大模型的训练和微调设计了详细的方案。

今天就是介绍一下大模型优化的两个方法论，SFT——监督微调和RLHF——基于人类反馈的强化学习。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

01.什么是SFT和RLHF？‍‍

下面是关于这两个概念的简单释义：

SFT中文释义为：一种通过监督学习进行模型微调的方法。``RLHF的释义为：一种利用人类反馈进行强化学习的方法，该方法通过收集人类对模型输出的反馈；然后使用这些反馈来优化模型的行为。

‍‍‍‍‍‍‍‍‍‍‍

说白了，不论是SFT还是RLHF的目的只有一个，那就是让模型变得更好。‍‍‍‍‍‍‍

_SFT——监督微调_‍‍‍‍

监督微调的原理很简单，就类似于学生上学，不论题目做的是对是错，老是都会告诉你一个正确的结果，也就是答案。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

监督微调的做法就是，在大模型训练或微调的过程中，把一部分数据打上“标签”；也就是告诉大模型这些数据是什么东西。‍‍‍‍‍‍‍‍‍‍

比如，在CV(计算机视觉)领域，图像识别的大模型在训练的时候，会告诉大模型哪些图片是人，哪些图片是猫，哪些图片是狗；而人，猫，狗就是数据的标注。‍‍‍‍‍

数据标注的展现形式很多，比如文件/文件夹名称，数据与标注的对应关系等。‍

有了监督微调，大模型就知道自己在干什么，能干什么；还拿图像识别举例，监督微调之后大模型能够识别，人类，猫和狗，但它识别不出来汽车和飞机。‍‍‍‍‍‍‍‍‍‍‍‍

如果想让它识别汽车和飞机，那么就要在训练或微调的数据中加入标注的汽车和飞机的图片。‍

监督微调的应用领域比较广泛，目前主流的大模型基本上都是采用的监督微调的方式，具体的领域包括文本分类，情感分析等。‍‍‍‍‍‍‍‍‍‍‍

SFT适用于有明确任务目标和大量标注数据的任务。‍‍‍‍‍‍‍‍‍

**RLHF——基于人类反馈的强化学习**‍‍‍

RLHF应该算是两种东西的结合，RL(强化学习)和HF(人类反馈)；强化学习是机器学习中的一种方法，强化学习有多种方式，而基于人类反馈的方式就叫做RLHF。

其实RLHF属于模仿人类行为学的一种方式，比如我们不论在工作或生活中做一件事总喜欢得到夸奖或赞美，这样我们就会想办法把事情做的更好。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

从技术角度来说，RLHF需要不断收集用户反馈，比如好与坏，评分等；然后根据这些反馈训练一个奖励模型，该模型用来评价模型等输出质量。‍‍‍‍‍‍‍

然后使用强化学习算法，如PPO优化语言模型，使其输出能够最大化奖励模型。‍‍‍‍‍‍‍‍‍‍

而从应用的角度来说，RLHF主要应用于对话，内容生成等领域；比较典型的就是我们在使用一些第三方模型时，会弹出让我们评价的按钮，比如chatGPT。‍‍‍‍‍‍‍‍‍‍‍‍

目前chatGPT的能力不断加强，除了其技术架构方面的原因之外，还有一部分是基于强化学习的方式来优化其模型。‍‍‍‍‍‍‍‍‍

SFT与RLHF的异同点

说起SFT和RLHF的共同点，那它们的共同点很简单，那就是通过不同的方式让模型变得更好。‍‍‍‍‍‍‍‍‍

还有就是两者都是基于数据驱动，或者说大模型都属于数据驱动；SFT需要标注的数据，而RLHF需要人类反馈的数据。‍‍‍‍‍‍‍

至于不同点，最明显的特征有两个，第一个就是两者的实现原理不同，SFT使用的是监督学习算法，而RLHF使用的是强化学习算法。‍‍‍‍‍‍‍‍‍‍‍‍

个人开发的人工智能小程序，感兴趣的可以点击查看：

其次，就是两者的应用场景不太相同；SFT适用那种有着明确任务目标的任务，比如说分类；而RLHF适用于那种需要不断升级优化的系统，比如客服系统，问答系统等。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

从两者的应用角度来说，选择SFT方法的企业较多，使用RLHF的企业相对较少。

并不是说RLHF技术比SFT的差，而是目前的人工智能生态还无法大规模使用RLHF，一是因为应用场景较少，二是技术要求和成本较高。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

一文读懂「RLHF」基于人类反馈的进行强化学习
女王の专属领地
01-18 3万+
RLHF就是基于人类反馈（Human Feedback）对语言模型进行强化学习（Reinforcement Learning），和一般的fine-tune过程乃至prompt tuning自然也不同。多种策略产生样本并收集人类反馈训练奖励模型训练强化学习策略，微调 LM首先需要一个预训练语言模型，通过大量的语料去训练出基础模型，对于ChatGPT来说就是GPT-3。还有一个可选的Human Augmented Text,又叫Fine-tune。
LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—(Adapter/Prefix/P-tuning/HINT，Delta-tunin
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-21 2471
​ LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—(Adapter/Prefix/P-tuning/HINT，Delta-tuning，LoRA/QLoRA/LOMO)之详细攻略 LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—基于添加式(引入额外可训练参数或模块，如Adapter/Prefix/P-tuning/HINT)、基于规范化(冻结某些固有模型参数同时指定
SFT、RLHF、DPO、IFT —— LLM 微调的进化之路
mama19971023的博客
08-05 933
• SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐；• SFT 只通过 LLMs 生成的下一个单词进行估计，而 RLHF 和 DPO 通过 LLMs 生成的完整句子进行估计，显然后者的估计会更准确；• 虽然 RLHF 和 DPO 取得比 SFT 好的结果，但代价是高昂的数据构造和计算资源开销；
在大模型领域，什么是SFT（Supervised Fine-Tuning）
jsnsnsb的博客
04-04 586
模型死记硬背训练数据 → 早停（Early Stopping）+ Dropout。：单一SFT可能损害其他能力 → 多任务联合训练（Multi-task SFT）。：类似“专业培训”——预训练让模型学会通用语言能力，SFT 教会它具体技能。（arXiv 2023）：证明高质量SFT数据（少量但精准）可媲美RLHF。（监督微调），是训练大型语言模型（LLM）的核心技术之一。对模型进行有监督的精细调整，使其适应特定任务（如对话、摘要、分类等）。：通过SFT让模型理解复杂指令（如“请用学术风格重写”）。
大语言模型调优SFT & RLHF
hawk2014bj的博客
05-23 1092
RLHF 相比于 SFT 可以根据用户的反馈进行优化，从而提高了模型的效果。虽然，RL 提高了模型的效果，数据还是起到非常重要的作用。想要调优一个效果很好的私有模型，数据准备的工作，无论 SFT 还是 RL 门槛都很高。
SFT（监督微调）和RLHF（基于人类反馈的强化学习）的区别
guntangsanjing的博客
11-29 3288
STF（Supervised Fine-Tuning）和RLHF（Reinforcement Learning from Human Feedback）是两种不同的模型训练方法，分别用于不同的阶段和目的。以下是它们的主要区别：
一文搞懂SFT、RLHF、DPO、IFT
u012374012的专栏
08-22 3572
SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐；SFT 只通过 LLMs 生成的下一个单词进行估计，而 RLHF 和 DPO 通过 LLMs 生成的完整句子进行估计，显然后者的估计会更准确；虽然 RLHF 和 DPO 取得比 SFT 好的结果，但代价是高昂的数据构造和计算资源开销；IFT 通过引入时序残差连接，仅使用多推理一步的开销，就可以融合 SFT、RLHF 和 DPO 的训练目标，摆脱对偏好数据和参考模型的依赖，保证训练目标与真实生成目标更加相近；
速通LLM——SFT、RLHF、对齐、RAG、微调大扫盲
2401_85379281的博客
10-02 4155
LLM（large language model）技术发展到今天，已经有许多代码和权重都开源的模型（如llama2等）供开发者下载使用。语言模型的本质是通过算法预测下一个位置上出现概率最高的字或词，LLM的预训练阶段通常是无监督或自监督的，例如通过bert模型完成类似于完型填空的任务，数据通常来源于互联网上的大量预料。预训练后的LLM已经具备了基础的语言理解或预测能力，但可能存在输出不符合人类表达习惯或道德准则，或在特定场景或垂直领域（比如数学计算，推理等）中的表现不尽人意等问题。这就需要对预训练后的大模
详细对比 SFT 和 RLHF 模型的区别
年少的勇气已经用完，剩下的就是三思而后行
09-06 1369
研究发现，在模型的泛化能力上，经过RLHF训练的模型表现更为出色，超越了仅经过SFT的模型。然而，在回复的多样性方面，RLHF则显著不如SFT，即经过RLHF的模型倾向于产生更为相似的回复。SFT后的模型能够更加精准的识别InstructionTokens、并依赖这些指令进行生成，而RLHF作为一种更有力的训练方式，能够进一步强化LLM对指令的识别及响应能力，因此在泛化性提升上，RLHF>SFT。在多样性上，输出模式、风格的集中是RLHF的必然后果，因此RLHF后LLM的多样性会有所降低。
强化学习与人类反馈（Reinforcement Learning from Human Feedback, RLHF）
最新发布
Rhett_Butler0922的博客
05-01 802
即如何确保AI系统的行为与人类的目标和价值观一致。RLHF作为一种解决方案，最早由OpenAI提出，旨在通过人类反馈引导模型优化，解决对齐问题。RLHF是一种结合人类反馈和强化学习的强大技术，广泛应用于大语言模型的对齐和优化。其核心流程包括预训练、人类反馈、奖励建模和PPO优化，数学基础涉及强化学习、Bradley-Terry模型和KL散度正则化。强化学习的目标是优化一个智能体，使其通过与环境交互最大化累积奖励。RLHF的实现可以分为四个主要阶段，每个阶段都有其独特的目标和技术细节。，使期望奖励最大化。
大模型强化学习介绍
kcarly的专栏
02-11 1246
泛化能力是指模型在未见过的新环境中表现良好的能力。在强化学习中，泛化能力通常表现为在训练环境与测试环境之间保持一致的表现，尤其是在底层动力学或观察结果发生变化的情况下。然而，现有的强化学习方法往往容易过拟合，特别是在训练集规模较大时，模型可能无法有效泛化到新环境。
从“通才”到“专家”：SFT与RLHF如何让你的AI真正“懂”你的业务？
老皮的博客
01-07 894
在实际应用中，选择合适的微调技术，可以使AI模型在特定场景中发挥更强大的性能。无论是在电商、法律、旅游还是医疗等行业，微调技术的运用都能为企业带来更加精准的业务决策、更加个性化的用户体验，并进一步推动智能化应用的落地与发展。微调不仅是提高AI模型质量的技术手段，更是推动行业创新与发展的催化剂。在未来，随着AI技术的不断发展和成熟，微调技术将会在更多领域中发挥重要作用，帮助我们走向更加智能化的未来。
详解各种LLM系列｜LLaMA 2模型架构、 预训练、SFT、RLHF详解
Kaiyuan_sjtu的博客
04-01 2019
作者|Sunnyyyyy整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/670002922后台留言『交流』，加入NewBee讨论组Llama 2是Meta在LLaMA基础上升级的一系列从 7B到 70B 参数的大语言模型。Llama2 在各个榜单上精度全面超过 LLaMA1，目前被广泛使用。对于Llama 2模型架构、 预训练、SFT的内容详解，...
SFT会改善LLM性能，RLHF可能会损害性能
caoyongsheng的博客
01-11 1039
领域自适应：预训练的语言模型通常在大规模通用语料库上进行训练，而SFT可以通过在特定领域的数据上微调模型，使其更好地适应该领域的特定模式、术语和上下文。人类反馈的限制：RLHF依赖于人类提供的反馈信号来指导模型的学习。SFT（Structured Fine-Tuning）是一种模型优化技术，它通过在预训练的语言模型上进行有针对性的微调，以适应特定任务或领域。数据增强：SFT通常会使用特定任务或领域的数据来微调模型，这种数据增强可以丰富模型的训练数据，提供更多的样本和多样性，有助于改善模型的泛化能力和性能。
综述 | 一文读懂多模态大模型：强化学习技术全面解读 SFT、RLHF、RLAIF、DPO
m_aigc2022的博客
01-17 1314
本文从强化学习如何增强大语言模型（LLMs）的视角，进行系统性全面综述，涵盖强化学习的基础知识、流行的RL增强LLMs、基于奖励模型的RL技术（RLHF和RLAIF），以及直接偏好优化（DPO）方法。
LLMs：ColossalChat相关的开源训练数据集简介(SFT指令微调数据集+奖励模型排序数据集+RLHF数据集)、RLHF算法实现的三个阶段(监督指令微调→训练奖励模型→RLHF训练模型→​​​
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-10 2116
​ LLMs：ColossalChat相关的开源训练数据集简介(SFT指令微调数据集+奖励模型排序数据集+RLHF数据集)、RLHF算法实现的三个阶段(监督指令微调→训练奖励模型→RLHF训练模型→推理量化和服务) 目录 ColossalChat的使用方法 1、ColossalChat相关的开源训练数据集 2、RLHF算法实现的三个阶段 3、推理量化和服务 - 训练后 ColossalChat的使用方法 1、ColossalChat相关的开源训练数据集 监督
大模型高效参数微调策略
xiangxueerfei的博客
05-27 3005
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。
云服务器微调deepseek
04-01
### 调优 DeepSeek 大模型的微调教程 #### 准备工作 为了在云服务器上成功完成 DeepSeek 模型的微调，需要准备以下资源和工具： - 使用 **CAP 项目** 提供的全托管 Serverless 计算服务来部署模型服务与 Web 应用[^2]。 - 利用 NAS 文件存储系统保存开源模型及其相关数据文件。 #### 数据收集与处理 构建高质量的数据集是实现良好效果的关键之一。可以参考如下方法获取并预处理所需数据： - 借助数千条冷启动数据作为初始输入材料来进行初步调整[^1]。 - 对这些原始语料执行清洗、分词以及格式转换等一系列操作以便于后续训练流程顺利开展。 #### 微调策略设计 制定合理的训练计划有助于提升效率及收敛速度，在此环节可考虑采用以下几个方面措施： ##### 阶段一：基础参数优化 通过对超参空间探索寻找最佳配置组合比如学习率调度器类型（线性衰减 vs cosine退火）、权重衰减值设定范围等要素从而促进网络更快更好地适应目标任务需求。 ##### 阶段二：强化学习增强 利用经过前序步骤改进过的版本继续深入挖掘潜力所在之处——即实施推理导向型 RLHF 方法进一步提高生成质量水平；期间还应注重平衡奖励函数的设计原则使其既能反映真实世界反馈又能兼顾算法稳定性要求。 ##### 阶段三：综合再训练 结合由拒绝采样技术和 SFT 过程共同产出的新一轮标注样本连同先前积累下来的经验教训一起投入到新一轮迭代循环当中去直至满足预期目标为止。 #### 实际操作指南 以下是具体的代码片段展示如何设置 PyTorch 或 HuggingFace Transformers 中的相关组件以支持上述提到的各种技术手段的应用实例: ```python from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer tokenizer = AutoTokenizer.from_pretrained("deepseek/LM") model = AutoModelForCausalLM.from_pretrained("deepseek/LM") training_args = TrainingArguments( output_dir="./results", num_train_epochs=3, per_device_train_batch_size=8, save_steps=10_000, logging_dir='./logs', ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, tokenizer=tokenizer, ) trainer.train() ``` 以上脚本展示了加载预训练模型、定义训练参数以及创建Trainer对象的过程。实际应用时还需要根据具体情况补充更多细节部分如自定义损失计算方式或者评估指标体系等内容。 #### 性能监控与管理注意事项 考虑到大型语言模型训练过程中可能遭遇各种意外状况因此有必要提前做好充分预案其中包括但不限于下面几点建议事项: - 定期检查硬件设施运行状态尤其是针对GPU集群而言更要密切关注其温度变化趋势以防因过热而导致整体性能下降现象发生[^3]； - 合理规划电力供应方案应对可能出现的大规模瞬态负载冲击情形确保供电稳定可靠不中断。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值