大模型的训练与调优，SFT(监督微调)和RLHF(基于人类反馈的强化学习)到底是什么？

“大模型设计，训练，微调，强化是一个系统性的过程”

大模型的训练和调优是一个系统性的，复杂性的过程；为此，研究人员为大模型的训练和微调设计了详细的方案。

今天就是介绍一下大模型优化的两个方法论，SFT——监督微调和RLHF——基于人类反馈的强化学习。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

01.什么是SFT和RLHF？‍‍

下面是关于这两个概念的简单释义：

SFT中文释义为：一种通过监督学习进行模型微调的方法。``RLHF的释义为：一种利用人类反馈进行强化学习的方法，该方法通过收集人类对模型输出的反馈；然后使用这些反馈来优化模型的行为。

‍‍‍‍‍‍‍‍‍‍‍

说白了，不论是SFT还是RLHF的目的只有一个，那就是让模型变得更好。‍‍‍‍‍‍‍

_SFT——监督微调_‍‍‍‍

监督微调的原理很简单，就类似于学生上学，不论题目做的是对是错，老是都会告诉你一个正确的结果，也就是答案。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

监督微调的做法就是，在大模型训练或微调的过程中，把一部分数据打上“标签”；也就是告诉大模型这些数据是什么东西。‍‍‍‍‍‍‍‍‍‍

比如，在CV(计算机视觉)领域，图像识别的大模型在训练的时候，会告诉大模型哪些图片是人，哪些图片是猫，哪些图片是狗；而人，猫，狗就是数据的标注。‍‍‍‍‍

数据标注的展现形式很多，比如文件/文件夹名称，数据与标注的对应关系等。‍

有了监督微调，大模型就知道自己在干什么，能干什么；还拿图像识别举例，监督微调之后大模型能够识别，人类，猫和狗，但它识别不出来汽车和飞机。‍‍‍‍‍‍‍‍‍‍‍‍

如果想让它识别汽车和飞机，那么就要在训练或微调的数据中加入标注的汽车和飞机的图片。‍

监督微调的应用领域比较广泛，目前主流的大模型基本上都是采用的监督微调的方式，具体的领域包括文本分类，情感分析等。‍‍‍‍‍‍‍‍‍‍‍

SFT适用于有明确任务目标和大量标注数据的任务。‍‍‍‍‍‍‍‍‍

**RLHF——基于人类反馈的强化学习**‍‍‍

RLHF应该算是两种东西的结合，RL(强化学习)和HF(人类反馈)；强化学习是机器学习中的一种方法，强化学习有多种方式，而基于人类反馈的方式就叫做RLHF。

其实RLHF属于模仿人类行为学的一种方式，比如我们不论在工作或生活中做一件事总喜欢得到夸奖或赞美，这样我们就会想办法把事情做的更好。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

从技术角度来说，RLHF需要不断收集用户反馈，比如好与坏，评分等；然后根据这些反馈训练一个奖励模型，该模型用来评价模型等输出质量。‍‍‍‍‍‍‍

然后使用强化学习算法，如PPO优化语言模型，使其输出能够最大化奖励模型。‍‍‍‍‍‍‍‍‍‍

而从应用的角度来说，RLHF主要应用于对话，内容生成等领域；比较典型的就是我们在使用一些第三方模型时，会弹出让我们评价的按钮，比如chatGPT。‍‍‍‍‍‍‍‍‍‍‍‍

目前chatGPT的能力不断加强，除了其技术架构方面的原因之外，还有一部分是基于强化学习的方式来优化其模型。‍‍‍‍‍‍‍‍‍

SFT与RLHF的异同点

说起SFT和RLHF的共同点，那它们的共同点很简单，那就是通过不同的方式让模型变得更好。‍‍‍‍‍‍‍‍‍

还有就是两者都是基于数据驱动，或者说大模型都属于数据驱动；SFT需要标注的数据，而RLHF需要人类反馈的数据。‍‍‍‍‍‍‍

至于不同点，最明显的特征有两个，第一个就是两者的实现原理不同，SFT使用的是监督学习算法，而RLHF使用的是强化学习算法。‍‍‍‍‍‍‍‍‍‍‍‍

个人开发的人工智能小程序，感兴趣的可以点击查看：

其次，就是两者的应用场景不太相同；SFT适用那种有着明确任务目标的任务，比如说分类；而RLHF适用于那种需要不断升级优化的系统，比如客服系统，问答系统等。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

从两者的应用角度来说，选择SFT方法的企业较多，使用RLHF的企业相对较少。

并不是说RLHF技术比SFT的差，而是目前的人工智能生态还无法大规模使用RLHF，一是因为应用场景较少，二是技术要求和成本较高。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】