Z1模型：当AI高效思考的秘密被揭开，推理速度提升70%！_z1: efficient test-time scaling with code-CSDN博客

本文链接：https://blog.csdn.net/xx_nm98/article/details/147232125

你是否曾遇到这样的场景：向AI提问一个简单问题，它却思考半天给出一个过度复杂的回答？或者让AI解决一个编程难题，等待时间长得令人抓狂？

近日，清华大学和耶鲁大学的研究团队联合发布了一篇重磅论文《Z1: Efficient Test-time Scaling with Code》，提出了一种全新的AI推理模型训练方法，让模型像人类一样"量体裁衣"——面对简单问题快速作答，遇到复杂问题才深入思考，平均节省了70%的思考token数量，大幅提升了大语言模型的效率。

1、当前大模型的思考困境：思考太多还是太少？

如今，像OpenAI的o1系列和DeepSeek的R1系列等大型推理模型在解决复杂问题时表现出色，但它们存在一个共同的痛点：无论问题难易，都会进行冗长的思考过程，消耗大量计算资源。

传统大模型通常采用"…"这样的分隔符强制模型进行思考，导致面对简单问题时也会进行不必要的繁琐推理。比如询问"2+3等于几"这样的问题，模型可能会生成数百个token来思考这个小学生都能立刻回答的问题。

另一方面，一些模型为了追求效率，又可能在复杂问题面前思考不足，导致解答错误或不完整。这种"一刀切"的思考方式严重影响了AI在实际应用中的效率和用户体验。

2、Z1模型：代码训练+智能窗口的创新组合

研究团队提出的Z1模型采用了两个关键创新点来解决这一困境：

（1）基于代码推理的训练数据集

研究者创建了一个包含107K个代码问题的数据集（Z1-Code-Reasoning-107K），这些问题包含简单和复杂两种类型，分别配有短推理轨迹和长推理轨迹。

这些多样性的代码推理轨迹成为了训练模型"量体裁衣"思考能力的关键。通过分析发现，代码推理中的高频三元词组（如"I need to"、“we need to”）与其他复杂问题推理有共通之处，而中频词组（如"iterate through the"、“for each”）则体现了代码推理的独特逻辑模式。

（2）移动思考窗口（Shifted Thinking Window）技术

Z1模型的另一个关键创新是取消了传统的思考分隔符，代之以"移动思考窗口"：

1）对于简单问题：模型可以直接输出简洁的推理和答案

2）对于复杂问题：设定最大思考长度上限，超过上限则强制模型基于已有思考给出答案

这种设计使模型能够根据问题复杂度自动调整思考深度，像人类一样"见招拆招"，从而大幅提升推理效率。

3、实验结果：少思考70%，效果却一样好

实验结果令人惊喜：Z1-7B模型在多项推理任务上，仅使用R1-Distill-Qwen-7B约30%的思考token数量，就达到了相当的性能表现。

更令人惊讶的是，尽管Z1模型仅使用代码推理轨迹进行训练，却表现出了优秀的跨领域迁移能力，在GPQA Diamond（47.5%）和MATH500（76.4%）等非代码任务上取得了出色成绩，平均性能达到45.4分，几乎追平GPT-4o的47.7分。

在一个简单问题的案例研究中，普通的Qwen2.5-Coder-7B-Instruct能直接给出正确答案，而R1-Distill-Qwen-7B却先生成了长达1,784个token的思考过程才得出解决方案。相比之下，Z1-7B凭借移动思考窗口技术，避免了不必要的过度思考，展现出在解决问题时平衡准确性和效率的优势。

4、训练数据的关键因素：长度与规模

研究团队还通过详细的数据消融实验，揭示了影响推理模型训练效果的两个关键因素：

（1）推理轨迹长度：在相同的7400万token训练预算下，使用"最长优先"抽样策略（平均长度2,216）训练的模型明显优于"最短优先"策略（平均长度807），说明长推理轨迹对模型的推理能力培养至关重要。

（2）训练样本规模：在平均轨迹长度几乎相同的情况下，使用完整107K数据集训练的模型（平均得分53.1）显著优于64K子集（50.1）和16K子集（48.5），表明更大的训练样本规模有助于增强模型的整体表现。

Z1模型的研究成果对AI行业具有重要启示：

（1）效率革命：通过更有效的思考方式，可以大幅降低AI模型的运行成本和响应时间，为用户提供更流畅的体验。

（2）从代码到通用能力：代码推理训练不仅能提升模型的编程能力，还能增强其在数学、科学等多个领域的推理能力，证明了代码训练的独特价值。

（3）开源贡献：作为完全开源的模型，Z1开放了权重、推理数据和代码，为AI社区提供了宝贵资源，推动了开源AI的发展。

未来，这种"量体裁衣"的高效推理方法有望成为AI模型的标准配置，让AI像人类一样，既能深思熟虑，又能迅速反应，真正实现智能与效率的平衡。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述