RL崛起，SFT已死？仅用1/140成本，批判微调CFT媲美DeepSeek-R1复现模型

前言

DeepSeek R1/R1-Zero让RL大火，SFT就无用了吗？滑铁卢与卡内基梅隆大学带来一种全新范式批判微调（CFT：Critique Fine-Tuning，已开源），即让模型学习对有噪声的回答进行批判，而不是简单地模仿正确的回答。

在Qwen2.5、Qwen2.5-Math和DeepSeek-Math等不同基础模型上，CFT在六个数学基准测试中相较于SFT平均提高了4-10%

CFT受到强调批判性思维的人类学习过程的启发，鼓励模型进行更深入的分析和细致的理解——这些特质通常被标准的SFT所忽视

数据集构建：从WebInstruct数据集中构建了一个包含50,000个样本的数据集，并使用GPT-4o作为“教师”模型来生成Critique，形式为（[问题；有噪声的回答]，批评）。

模型训练：CFT的目标是训练模型对给定的查询-回答对进行批判，最大化生成批判的概率 P(c∣[x;y])，其中 c 是查询-回答对 [x;y] 的标注批判。

CFT与SFT的对比

为了评估CFT的有效性，在三个7B参数规模的基础模型上，使用数学推理基准测试将其与各种SFT方法进行比较。所有实验均使用WebInstruct子集进行训练，CFT在六个数学基准测试中相较于SFT平均提高了4-10%

在WebInstruct的50,000个样本上，CFT与SFT的比较。SFT-verified表示在经过GPT-4o验证的回答上进行的SFT训练，SFT-GPT4o表示在GPT-4o生成的回答上进行的SFT训练。CFT在GPT-4o提供的批评上进行训练。

Qwen2.5-Math-7B-CFT与其他竞争模型的对比

将7B参数规模的CFT模型与其他不同规模的竞争模型进行比较。扩展了评估基准，以涵盖更广泛的STEM主题。Qwen2.5-Math-CFT模型仅需在8块H100 GPU上训练1小时，即可在大多数基准测试中与使用超过200万样本训练的强大竞争对手Qwen2.5-Math-Instruct相媲美，甚至超越它们

与基于强化学习（RL）的方法的对比

比较了不同基于强化学习的方法在数学推理中的效率和性能:

• CFT在计算成本上减少了144倍，还能与SimpleRL相匹配，SimpleRL是基于DeepSeek-r1复制的模型；

• 在Minerva-Math和AMC23等严格的数学测试中表现出色。

案例研究1：连续分数运算

• CFT模型保持精确的逐步计算，显示每个中间分数。

• 原始模型采用正确的方法，但在最后几步中出现计算错误。

• CFT在追踪和计算连续分数乘法方面表现出更强的能力。

案例研究2：几何面积问题

• 尽管两种模型都正确地应用了勾股定理，但它们在组合面积的方法上存在显著差异。

• CFT模型正确识别出五边形是正方形和三角形面积的总和。

• SFT模型在概念上犯了一个关键错误，错误地减去而不是加上面积。

案例研究3：工人效率问题

• CFT模型始终保持对问题核心概念（工作效率和时间）的清晰关注。

• SFT模型在问题解读和解决方案方法上表现出显著的混乱。

• CFT在处理涉及不同类型工人的多步率问题方面表现出更强的能力。

最后的最后

感谢你们的阅读和喜欢，作为一位在一线互联网行业奋斗多年的老兵，我深知在这个瞬息万变的技术领域中，持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶，也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习，相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】