大模型训练新范式：LUFFY、SRFT和HPT方法详解，建议收藏！

原创于 2025-12-18 16:53:05 发布 · 316 阅读

CC 4.0 BY-SA版权

文章标签：

#人工智能 #AI大模型 #大模型 #大模型教程 #学习 #大模型训练 #程序员

本文分析了LUFFY、SRFT和HPT三种大模型训练方法，它们都试图解决监督学习(SFT)与强化学习(RL)相结合的问题。LUFFY通过离线策略指导实现混合RL训练；SRFT采用单阶段监督强化微调；HPT则通过超参动态切分样本。这些方法共同面临数据比例、开放任务扩展和遗忘量化等挑战，代表了大模型训练的新范式。

LUFFY：https://arxiv.org/abs/2504.14945
SRFT：https://arxiv.org/abs/2506.19767
HPT：https://arxiv.org/abs/2509.04419

一、通过离线策略指导学会推理

Luffy原意：Learning to reason Under oFF-policY guidancef

总体框架示意

可验证二元奖励

总训练目标

Trick：其中off-policy可以是任意高质量模型，但由于on/off策略模型的不同，默认off-policy产生的solution的概率为1，通过这种方式将任意高质量数据（或off-policy模型产生的数据）方便地整合进同一个训练目标。这种做法放在重要性采样的表达式中，类似于一种重加权的线性塑性函数，反应在梯度上则意味着提高OnPolicy/OffPolicy具有互斥的sample的梯度分量，而降低两者具有共识的梯度分量。这有助于避免引入离线sample导致的熵坍塌问题：

实验结果

小结：LUFFY通过将高质量离线sample并入GRPO组实现混合在线/离线的RL训练，其中异构模型产生的离线sample通过线性塑形函数调整重要性采样表达式缓解熵坍塌问题。

二、推理模型的单阶段监督强化微调

相关实证

从sample级比较RL和SFT相较于baseline的概率分布变化，确认RL稀疏更新特性

单图对比纯RL、单阶段SFT+RL、两阶段SFT+RL的准确率变化

方法

总损失

SFT损失项（模仿学习的分量）

RL损失项1（模仿学习-GRPO的分量，OffPolicy任意RLVR奖励）

RL损失项2（探索学习-正负对分量，OnPolicy二元RLVR奖励）

实验结果

小结：集成损失：SFT损失+仿GPPO（离线版）+正负对SFT（在线版），核心作用在于三种损失梯度的加权叠加。

三、统一视角理解LLM后训练

从优势和梯度估计的视角统一多种后训练算法

对于SFT：逐样本tokens优势估计恒为1，对应梯度权值也为1
对于PPO：逐样本tokens优势估计为广义优势估计的clip(1)
对于GRPO：在PPO的基础上改进为标准化的组内相对优势估计，同样clip(1)
对于REINFORCE：优势估计离散到±1
对于CISPO：在GRPO的基础上施加特定掩码
对于GSPO：在GRPO的基础上将token级clip(1)改进为序列级clip(1)
对于SRFT：后续讨论
对于LUFFY：后续讨论

可见，各类On-policy RL都可以在梯度估计直观观察到具体差异。此外，作者将RL拆解为四个关键组件：

稳定掩码：类似于PPO的clip项的作用，对于不稳定（过大过小）的梯度流进行截断，避免重大错误更新。

参考策略分母项：通常用于重要性采样对待优化的策略进行除权。

优势估计：评估当前动作产生的收益，在LLMs上是序列级的统计（算个总的，后面再分摊到每个tokens）

似然梯度：求导后的梯度项

拆解公式

共同目标：

求梯度：

附引理推导：

其中

lemma A1：导数期望等于对数策略梯度的加权平均

lemma A2：被积函数f()也依赖于θ，通过链式法则反推积分形式（于是多了右项）

lemma A3：重要性重加权（最优的θ无法采样，但专家数据可以，通过专家数据分布s可以构建分布差异 πθ(τ)/s(τ)作为估计（也就是通过reference model估计作为分母），梯度的Δlog展开后刚好和估计的分子约掉，因此重加权解耦了在梯度期望中f对θ的依赖）

KL项梯度：β项不依赖θ，可以把θ项直接照搬下来。

通过统一优势估计简化梯度（实际上就是上面“四个关键组件的格式”）：

里面的统一优势估计：

进一步把信任域的掩码形式（如PPO的clip）也放进来：

混合后训练目标（HPT）

其中，α、β调整两个损失的权重。

具体来说，采样n个轨迹，并评估它们的平均正确性：

同时，基于P计算对应的α、β（f、g为特定任务的经验函数，实际上就是SFT、RL的0-1掩码）：

最后给出RL、SFT两个损失的通用形式：

实验结果

小结：通过一个超参γ将RL过程中rollout出来的样本切成难易类型，难的走SFT loss，简单的走RL loss。

Review

待解决的核心问题：新知识注入不足，则RL沿着错误路径探索；过度SFT蒸馏新知识，导致过拟合

思路：三者思路大致相似，即如何引入离线数据到在线rollout组中实现SFT+RL的效果。

LUFFY将其合并到GRPO的rollout group中，同时调整对应重要性采样表达式；
SRFT则将SFT离线数据的SFT损失、GRPO离线数据的RL损失、在线正负对数据的SFT损失集成，同时训练；
HPT通过超参γ动态硬切分该走SFT还是RL损失；

分析

如前述，三者在范式上差异不大，都具备可行性，但悬而未决的共同核心问题是

（1）SFT和RL的数据量的比例是多少
（2）如何将该方法扩展到无法验证的开放任务上
（3）遗忘程度的量化，而不仅是垂域任务的泛化。

对于问题（1）

SFT+RL混合训练，这必然导致一个超参调整混合比例，在LUFFY中是在线/离线数据的比例N1:N2；在SRFT是N1:N2:N3；在HPT是超参γ。这就导致了不同任务繁琐的工程性问题，而背后反映的是SFT和RL梯度耦合的复杂性。在HPT中给出了统一的表达式，但是没有明确稳定掩码的更有力的分析（论文做法是通过0-1进行硬切割了）。

对于问题（2）

三者都在数学上验证，但数学是可验证问题，对于大模型应用而言，开放问题有很多是难验证的，如role-play，多层嵌套的function-calling，翻译风格，摘要总结，乃至视觉领域的AIGC、音频领域的TTS。因此将单阶段SFT+RL算法还要解决的一个问题是难验证问题（这一点来说，SFT毫无压力，也因此SFT达到最大的推广）。

对于问题（3）

这个问题起点是如果我们给定了可信的groudtruth，为什么要结合RL？由于RL的rollout继承于原始分布，同时rollout又使得负样本可见，前者表现出小梯度+稀疏从而导致分布变化不会太大，后者使得负样本可以拒绝以达到训练后可高效采样，因此有了两者结合的预期。但是单阶段结合RL和SFT后，遗忘程度相较纯RL和纯SFT有怎样的趋势？这点还欠缺讨论。如果在RL中引入了SFT，遗忘问题不可忽视，那么应用也必定随之受限。

最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

✅AI大模型学习路线图
✅Agent行业报告
✅100集大模型视频教程
✅大模型书籍PDF
✅DeepSeek教程
✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

在这里插入图片描述

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

在这里插入图片描述

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点
在这里插入图片描述

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

在这里插入图片描述

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

在这里插入图片描述

④各大厂大模型面试题目详解

在这里插入图片描述

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

在这里插入图片描述