DeepSeek-V3惨遭碾压！32B模型竟凭「思维模板」登顶数学推理之王？

AI数学竞赛圈该彻底炸锅！迎接新王登基！

近日，普林斯顿王梦迪&北京大学崔斌团队联手推出ReasonFlux框架，仅用8块A100显卡训练的32B模型

竟在MATH、AIME等顶尖数学基准测试中全面碾压GPT-4o、Claude3.5，甚至准确率吊打DeepSeek-V3！

其秘密武器竟是500个「数学思维模板」？今天带你解密LLM推理领域的核弹级突破！论文已开源。

【论文标题】

ReasonFlux: Hierarchical LLM Reasoning via Scaling Thought Templates

【论文链接】https://arxiv.org/pdf/2502.06772v1

摘要

本文提出，通过扩展思维模板进行分层LLM推理，能够有效优化推理搜索空间，在数学推理能力上超越诸如 OpenAI o1-preview 和 DeepSeek V3 等强大的LLMs。

本团队仅使用 8 个 GPU 对 ReasonFlux-32B 模型进行训练，并引入了三项创新：

1. 构建了一个结构化且通用的思维模板库，包含约 500 个高级思维模板，能够推广应用于相似或相关的推理问题。

2. 对一系列思维模板进行分层强化学习，而非针对原始的长CoT数据，优化基础LLM以规划出最优的模板轨迹，从而逐步处理复杂问题。

3. 设计了一种全新的推理扩展系统，通过在推理时自适应扩展思维模板，实现分层LLM推理。

借助包含一系列思维模板的模板轨迹，ReasonFlux-32B 显著提升了数学推理能力，达到了当前最先进的水平。

值得注意的是，在 MATH 基准测试中，它的准确率达到了 91.2%，比 o1-preview 高出 6.7%。

在 USA Math Olympiad（AIME）基准测试中，ReasonFlux-32B 平均能解决 56.7% 的问题，分别比 o1-preview 和 DeepSeek-V3 高出 27% 和 45%。

背景

LLMs在处理复杂推理任务方面取得了显著进展，甚至在特定领域超越了人类专家。

然而，诸如AIME中的数学问题求解、OlympiadBench 中的竞赛题以及 LiveCodeBench 中的代码相关任务等更复杂的任务，仍对LLMs构成重大挑战

因为这些任务需要在庞大的解决方案空间中进行更精细的搜索，并且每个复杂的推理步骤都需要更精密的思考。

后续研究聚焦于通过推理时的策略来增强LLMs在复杂问题上的推理能力，这些策略分为深思熟虑搜索和奖励模型引导方法两类。

但这些方法存在计算成本高、依赖手动设计的搜索策略和实例/步骤级奖励等问题，限制了它们对各种复杂推理任务的泛化能力，难以在推理扩展过程中有效平衡探索与利用的权衡。

为了实现更高效、精确的推理路径搜索，利用RAG是一种可行的方法，但基于模板的推理方法在应用于复杂推理任务时仍面临挑战。

因此，需要一种更高效、可泛化的推理扩展方法，在无需大量人工干预的情况下提升推理能力，并提供更具原则性的搜索策略。

贡献

1. 提出ReasonFlux（见图 1），这是一种分层LLM推理框架，显著增强了复杂推理能力，在具有挑战性的 MATH 和 AIME 基准测试中，其性能优于诸如 o1-preview 和 DeepSeek-V3 等当前最先进的模型。

2. 提出构建一个结构化且紧凑的模板库，其中包含约 500 个从具有挑战性的数学问题中精心挑选的思维模板。

3. 开发了对一系列高级思维模板的分层强化学习方法，使LLM能够为一系列更简单的子问题生成最优的思维模板轨迹，有效简化了推理路径的搜索空间。

4. 设计了一种新的推理扩展系统，通过自适应扩展思维模板进行分层推理。该系统使 ReasonFlux 能够在推理时动态检索一系列高级模板，并自适应地进行实例化推理。

技术方案

4.1 构建结构化思维模板库

受人类解决复杂推理问题时利用外部资源的启发，本文构建了一个结构化思维模板库，以实现更精确、有针对性的检索，并减轻可扩展性方面的挑战。

从不同来源精心挑选了广泛多样的具有挑战性的数学推理问题，使用LLMs分析解决方案背后的思路，生成解题策略的简洁摘要并识别常见模式，从而得到高质量、以解决方案为导向的思维模板。

每个模板都进行了结构化设计，以便于高效检索和应用。

通过利用与每个模板相关的元数据（名称和标签），能够基于关键词或特定问题特征进行快速准确的搜索。

name： “型三角代换”。这个名称明确指出了模板所针对的数学问题类型，方便模型在检索时快速识别。

tag： “带入法”“三角代换”“无理函数”。这些标签用于基于关键词的检索，多个标签从不同角度对模板进行分类，提高检索的准确性和灵活性。

description：当问题中出现形如的根式，且时，考虑使用或来消除根式，将无理表达式转化为三角函数表达式。这段描述清晰地阐述了模板的适用场景和核心解题思路，让模型理解在何种情况下可以应用该模板以及如何应用。

scope：包括涉及函数优化或值域问题，尤其是含有形式无理函数的；包含形式根式的方程或不等式问题；与圆相关的几何问题。明确的适用范围界定，帮助模型更精准地判断该模板是否适用于当前问题，避免错误应用。

application steps：首先要根据问题条件确定的范围，通常是 ，后续步骤为简化省略部分。这一步骤为模型提供了具体的操作指南，按照这些步骤，模型可以逐步应用模板解决问题。

4.2 基于思维模板轨迹的分层强化学习

为了有效利用模板库并为给定问题选择合适的模板，进行了分层强化学习。

1. 利用结构化模板库构建知识密集型训练数据集，对基础LLMs进行微调，使其理解模板库中每个模板的结构、内容和预期用途。

2. 基于微调后的LLMs，通过偏好学习进一步增强其为输入问题规划一系列高级思维模板的能力。

3. 利用一组与原始输入问题相似的问题来评估给定轨迹的有效性和泛化能力，将平均准确率作为轨迹奖励，用于构建优化对，进一步细化导航模型。

4.3 通过扩展思维模板进行推理扩展

经过分层强化学习过程后，将优化后的导航模型称为 ReasonFlux。

设计了一种新颖的推理扩展系统，该系统涉及 ReasonFlux、结构化模板库和下游推理LLMs之间的多轮交互（见图 2）。

给定一个输入问题，ReasonFlux 首先分析并提取其中的核心数学概念和关系，据此配置一个最优的模板轨迹。

然后从模板库中检索一组最相关的思维模板，并指示推理LLMs根据模板和问题特定细节实例化每个步骤。

ReasonFlux 和推理LLMs之间的交互是迭代的，根据中间结果评估和分析，ReasonFlux 决定是否细化轨迹，调整后续步骤或检索替代模板。

实验结果

挑战推理基准测试结果：在多个数学推理基准测试中，表 2展示了 ReasonFlux-32B 模型表现卓越，超越多数前沿LLMs和开源推理LLMs。

在 MATH 基准测试中，其准确率达 91.2% 。

AIME 2024 基准测试中，准确率为 56.7% 。

AMC 2023 基准测试中，准确率为 85.0% 。

在 OlympiadBench 和 Gaokao En 2023 测试中，也分别取得了 63.3% 和 83.6% 的准确率。

同时，使用不同基础模型时，ReasonFlux 在各评估基准测试中均能显著提升推理准确性。

结构化模板库泛化能力：通过在 MATH 基准测试上的额外实验，验证了结构化模板库的泛化能力。

以从库中随机抽取的 100 个模板及对应示例问题为例，让 o1-preview 生成变体问题，使用模板辅助推理相比直接推理，能显著提升不同基础模型的推理准确率，表 3展示了这一结果。

推理流程优势：展示了 ReasonFlux 解决挑战性数学问题的推理流程示例，图 3表明其通过分析问题、配置动态推理轨迹、检索相关模板并指导推理 LLM 执行推理过程，相比传统范式，可提高推理准确性和效率。

推理扩展规律：研究发现 ReasonFlux 能有效捕捉输入问题的复杂性，合理规划模板轨迹和交互轮数。

随着问题复杂性增加，其检索模板数量和与推理 LLM 的交互轮数会自适应调整，相关结果在图 4中呈现。

探索-利用权衡优势：通过对比实验，在 AIME 竞赛不同难度问题上，评估不同推理策略的探索-利用权衡。

结果显示，与 BoN 和 MCTS 相比，ReasonFlux 在所有难度水平下都保持更低且更稳定的探索成本，图 5展示了这一优势。

结论

提出ReasonFlux，这是一种新的分层LLM推理框架，它通过自适应扩展基础且关键的思维模板，简化了复杂推理的搜索空间

在数学推理能力上超越了诸如 OpenAI o1-preview 和 DeepSeek V3 等强大的LLMs。

本团队提出了结构化且紧凑的思维模板库、基于思维模板轨迹的分层强化学习以及全新的推理扩展系统。

在不同具有挑战性的数学基准测试上进行的大量实验证明了 ReasonFlux 的优越性。

本文还揭示了一些关键发现，包括模板增强推理的扩展规律，以及 ReasonFlux 在探索与利用权衡方面优于先前推理策略的优势。

多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）