配置Open-R1，评测DeepSeek第三方蒸馏模型的推理性能4——QwQ 32B测试

已于 2025-03-08 16:31:20 修改
阅读量868 收藏 11
点赞数 11
文章标签： 人工智能 深度学习 DeepSeek R1推理模型 QwQ-32B 评测
于 2025-03-08 15:05:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/clhmw/article/details/146114141
版权

题记：前面三次（1、搭评测环境的坑；2、初步测试；3、深入测试），主要介绍了DeepSeek R1的评测过程中一些心得。经过一段时间折腾，基本还是用官方、元宝以及火山的满血版本。偶尔用用本地的14B，对比之下满血还是好用。本来想的搭个便携式推理机器的想法也就搁置了，顺便嘲笑了一下一体机这门生意。但是，QwQ 32B一出来，又有了折腾的理由。

DeepSeek破圈后，很多云厂商和大厂都采用了打不过就加入的策略，一边是积极适配提供满血版服务，一边是暗戳戳的憋大招，其中Qwen无疑是最靓眼的仔[1]。DeepSeek的实践[5]，除了LLM的infra层面外，在应用层面有两个takehome messages。一个是，强化学习在构建长思维链上的作用；一个是长思维链在蒸馏参数量更少LLM时的作用。

如果仔细对比DeepSeek给出的蒸馏小模型在AIME和MATH上的性能，会发现LLama和Qwen两个架构存在性能差异。我认为合理的猜测如[2]中所说，不同结构的LLM目前看存在差异。而[4]中给出了另一种解释，差异可能来自于LLM预训练时的语料差异，进而表现为SFT激活这种推理能力的难易。[3]则给出了如何拉齐不同结构LLM、不同预训练数据在推理时能力的差异，是他们能够几乎提供相当的推理能力。

随着关于模型结构、预训练语料、如何增强推理能力等论文讨论的深入，一个遗留的点也被填上了。那就是DeepSeek在[6]中曾提到，满血671B模型在计算一个输入token时会激活37B。当时看论文的时候，没有细想这意味着什么。只是从感性上理解，SLM如果能激活推理能力，提供和满血模型一样的性能，那可能意义更明确一些。

在折腾了一段时间LM studio后，经过读论文、找思路、写代码等一系列日常场景对比测试后，感觉还是满血的DeepSeek更好用一些。尤其是在考虑延申论文分析上。为了用满血DeepSeek，除了DeepSeek自己的网页和app，还试用了元宝适配的版本。几乎是没用差别，但是在有些问题上思维过程偏短，输出也偏短。后面申请了火山的账号，其提供了API调用，很适合在cherry studio中使用。顺便，也用了用deepseek-v3-241226，doubao-1-5-pro-256k-250115。综合来看，可能是DeepSeek在某种程度上定义了长思维链推理，所以其他家总感觉是隔了一层，心理上希望DeepSeek的优于其他，正如还有什么黑科技加持一样。但是，这种心理上感知到的差异，可能是来自于不同于官方配置、不同的infra优化取舍导致的某种所谓的风格差异。

虽然联网跑满血挺好，但是在不方便联网的情况下，本地私有部署、性能够用也是一直在考虑的。一方面是用什么模型，一方面是用什么硬件。先说说硬件方面。考虑过ITX，配个公版4090，内存配到96GB，足够跑了。图片截自B站介绍视频，请移步观看。

后面，也对比了华硕的NUC14 Pro+（270mm x 180mm x 50mm）、苹果的Mac studio M4 Pro（200mm x 200mm x 95mm）、NVIDIA的Orin（110mm x 110mm x 72mm），也想过树莓派。各个硬件候选，都有些不尽如人意的点。比如ITX在尺寸和重量方面有劣势；NUC是显卡不行、内存是LPDDR5；苹果的M4 Pro价格稍高，但是从其他视频测试情况看性能很不错；Orin看博客，也能跑，但是速度可能会慢。

  

说完硬件，其实影响性能的主要还是模型。这个时候，QwQ-32B确实很吸引人，这也是前面提到的671B激活了约37B参数来处理一个token。Qwen发布的QwQ给出了回答，稠密+少参数和稀疏+多参数，可以获得相当的性能。怀着激动的心情，给笔记本升级了内存到64GB，终于是把32B的DeepSeek蒸馏版、QwQ等模型跑了起来。在用LM studio部署时，一个很重要的点是，要卡着独显的显存上限来考虑多少个层在GPU计算。更升级完内存，跑了个全部署GPU上的测试。跑了一下午将近4个小时，只出来了不到2000个token。后面，优化配置（根据显存大小反推能放下多少层）后出token的速度快了很多。

对比了一些之前常用场景的测试，QwQ-32B还不错，比DeepSeek蒸馏的32B好一些，和满血DeepSeek比还有点儿不同。从思维链的输出内容看，QwQ-32B会短一些，没有过度思考的倾向。同时，可能也是没有过度思考，回复会偏简洁或者简单的样子。后面，有用benchmark测了一下这个模型。

模型

AIME2024

@1

MATH500

@1

o1-mini63.690.0
DeepSeek-R1-671B79.897.3

DeepSeek-R1-distill-Qwen-32B

72.694.3
Qwen-QwQ-3279.5-
自测
DeepSeek-R1-distill-Qwen-32B ** BF1676.793.0
Qwen-QwQ-32 ## BF1683.397.4

从测试结果来看，QwQ确实提升了不少。Qwen团队是怎么实现的？因为，DeepSeek把蒸馏模型的性能提升归功于用长思维链数据做SFT，这次提升到底用了什么呢？[1]中给了些许的介绍，如下

“此外，我们还在推理模型中集成了与 Agent 相关的能力，使其能够在使用工具的同时进行批判性思考，并根据环境反馈调整推理过程。我们希望我们的一点努力能够证明强大的基础模型叠加大规模强化学习也许是一条通往通用人工智能的可行之路。”

“我们在冷启动的基础上开展了大规模强化学习。在初始阶段，我们特别针对数学和编程任务进行了 RL 训练。与依赖传统的奖励模型（reward model）不同，我们通过校验生成答案的正确性来为数学问题提供反馈，并通过代码执行服务器评估生成的代码是否成功通过测试用例来提供代码的反馈。随着训练轮次的推进，这两个领域中的性能均表现出持续的提升。在第一阶段的 RL 过后，我们增加了另一个针对通用能力的 RL。此阶段使用通用奖励模型和一些基于规则的验证器进行训练。我们发现，通过少量步骤的通用 RL，可以提升其他通用能力，同时在数学和编程任务上的性能没有显著下降。”

这两大段看似很多字，但其实并没有说出来很多细节，能看出来的是他们应该使用了一部分微软在rStar-math中的思路。但是没有提到MCTS或者tree search等，说明现阶段很可能还是SFT和reward设计上比较重要，用了多种目前最强模型的输出、生产了更高质量的思维链。

接下来，期待Qwen放出技术文档。另一方面，则是持续关注小模型该如何提升推理能力，达到比肩大模型的性能。

篇外的话，目前技术先行，大家还是要关注数据安全。一方面是和大模型交互要意识到记录是可能被记录或用于训练的。另一方面，本地部署、提供局域网服务时要看端口配置。使用云厂商API时，要保护好key。

[1] QwQ-32B: 领略强化学习之力 | Qwen

[2] Demystifying Long Chain-of-Thought Reasoning in LLMs

[3] Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs

[4] LIMO: Less is More for Reasoning

[5] DeepSeek infra open source

[6] DeepSeek-AI. DeepSeek_R1_Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. 

clhmw
关注
DeepSeek-R1 满血版和蒸馏版鉴别方法
herosunly的博客
02-25 3万+
本文主要介绍了DeepSeek-R1 满血版和蒸馏版鉴别方法，希望对使用DeepSeek模型的同学们有所帮助。 文章目录 1. 前言 2. 实战教程 2.1 满血版实验结果 2.2 DeepSeek-R1-Distill-Qwen-7B实验结果 2.3 DeepSeek-R1-Distill-Qwen-32B实验结果 2.4 DeepSeek-R1-Distill-Qwen-70B实验结果 3. 总结
qwq-32b与deepseek-r1满血版的全方位效果对比
maxcode
03-10 329
qwq-32b在性能上与deepseek-r1满血版相当，甚至在某些方面更具优势，如推理速度、硬件适配性和成本效益等。而deepseek-r1满血版则在数学严谨性和执行准确性方面表现更优。选择哪个模型取决于具体的应用需求，如果需要快速响应和较低的运行成本，qwq-32b是更好的选择；如果对推理的准确性和严谨性有更高要求，deepseek-r1满血版可能更适合。
阿里QwQ-32B或超越DeepSeek满血版
weixin_43205145的博客
03-06 861
11、到目前为止，这个模型在处理24K长度的文本时表现得很好，尤其是在使用Q8_0量化方法的情况下。虽然我不确定它能不能只用32B的参数就打败671B的Deepseek-R1模型，但它应该能轻松打败其他32B的模型，甚至是一些70/72B的模型。希望即使它被简化了，也能保持这样的表现。今天，我们发布了 QwQ-32B，这是我们全新的推理模型，虽然只有 320 亿个参数，但它能跟顶尖的推理模型，比如。然而，它只有32B，所以即使它达不到完整的 R1 617B MoE，仅仅“足够接近”也是一个巨大的胜利。
大模型LLM | QwQ-32B 测评和使用教程来了！
Androiddddd的博客
03-08 2057
第一是 32B 小参数模型性能与超大参数的推理模型性能不相上下，做到了在保证性能的同时降低对计算资源的依赖，从而实现更加环保、可持续的AI技术发展；第二是响应速度也是相当不错的，不会遇到服务器繁忙的情况；第三是它支持功能，这一点对于模型开发来说有多重要就不必多说了。如今，距离 o1 模型发布不过五个月，推理模型领域已经迎来了百花齐放的新局面。犹记得前段时间大家还在全网寻找 "满血版"DeepSeek-R1 的使用渠道，转眼间就出现了小尺寸且性能强悍的 QwQ-32B 模型。
QWQ大模型评测榜单
qq_15821487的博客
03-07 625
在由Meta首席科学家杨立昆领衔的“最难LLMs评测榜”LiveBench、谷歌等提出的指令遵循能力IFEval评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的BFCL测试中，通义千问QwQ-32B的得分均略微超过了DeepSeek-R1-617B。除了在性能上的提升，QwQ-32B的另一个亮点就是大幅降低了部署使用成本，671B，在FP16精度下需要1400G的显存，而现在，32B的QwQ，4张4090就能跑，这是将近15倍的差距，并且智能水平还差不多。
【AI大模型前沿】阿里 QwQ-32B：320 亿参数推理大模型，性能比肩 DeepSeek-R1，免费开源
寻道AI，探索AI无限可能！
03-22 1224
在人工智能领域，大模型的发展一直是技术前沿的热点话题。2025 年 3 月 6 日，阿里巴巴 Qwen 团队正式开源了其最新研发的推理大模型QwQ-32B，这无疑为全球开发者带来了一股强劲的创新动力。这款拥有 320 亿参数的模型，在数学推理、代码生成和逻辑分析等关键领域展现出了卓越的性能，迅速吸引了众多目光。令人惊叹的是，其性能不仅能够与参数规模高达 6710 亿的 DeepSeek-R1 相媲美，更凭借开源免费、轻量化部署的特性，极大地降低了技术门槛，成为了中小团队和学术研究的理想选择。
手把手教你本地部署QwQ-32B：轻松吊打DeepSeek-R1蒸馏版！
hunteritself的博客
03-07 5282
手把手教你本地部署QwQ-32B：轻松吊打DeepSeek-R1蒸馏版！
DeepSeek R1模型解读与使用
热门推荐
2401_85549225的博客
01-22 1万+
下面有个图表，这里可以重点关注DeepSeek-R1-Distill-Qwen-32B这个模型，这也是他们官方标注的，基座采用了Qwen32B的模型，在数学，代码，复杂问题的测试集中跟o1-mini一个水准，远高于GPT4o，Claude3.5-Sonnet，DeepSeek-V3。相比国内的推理模型，价格不算便宜，但性能目前确实最好的，通义千问QWQ预览版输入价格3.5元/百万tokens，输出7元/百万tokens，智谱GLM-ZERO预览版，输入输出10元/百万tokens。这是官方的性能评测图。
DeepSeek-R1-Distill-Qwen-7B-Int8-W8A16 量化高精校准
AI天才研究院
02-05 2153
DeepSeek-R1-Distill-Qwen-7B-Int8-W8A16 是一个基于的 Int8 量化的模型。Qwen2.5Int8后训练：在基础模型上进行大规模强化学习我们直接在基础模型上应用强化学习（RL），而不依赖于监督微调（SFT）作为前置步骤。这种方法使模型能够探索用于解决复杂问题的思维链（Chain-of-Thought, CoT），从而开发出 DeepSeek-R1-Zero。
从零到一：DeepSeek-R1 的推理革命
步子哥的博客
01-21 5221
DeepSeek-R1 的研究不仅展示了强化学习在推理能力提升中的潜力，更为语言模型的训练提供了全新视角。从 DeepSeek-R1-Zero 的自我进化到 DeepSeek-R1 的多阶段优化，再到小模型的蒸馏，这一系列探索为人工智能的未来发展铺平了道路。我们期待更多研究者加入这一领域，共同推动智能系统的边界。
DeepSeek-R1：通过强化学习提升大型语言模型推理能力的探索
斯人若彩虹，遇上方知有！
02-04 2071
此外，通过模型蒸馏技术，研究者成功地将DeepSeek-R1的推理能力赋予了小型模型，使其在推理任务上的表现得到了显著提升。推理导向的强化学习：在冷启动数据的基础上，DeepSeek-R1采用了与DeepSeek-R1-Zero相同的强化学习训练过程，专注于提升模型在推理密集型任务中的表现。性能提升：在AIME 2024基准测试中，DeepSeek-R1-Zero的Pass@1分数从最初的15.6%提升至71.0%，经过多数投票后，分数进一步提升至86.7%，与OpenAI-o1-0912的性能相当。
DeepSeek HuggingFace 70B Llama 版本 （DeepSeek-R1-Distill-Llama-70B）
简简单单Onlinezuozuo
02-14 935
DeepSeek-R1-Zero 是一种通过大规模强化学习 （RL） 训练的模型，没有监督微调 （SFT） 作为初步步骤，在推理方面表现出了卓越的性能。随着 RL 的出现，DeepSeek-R1-Zero 自然而然地出现了许多强大而有趣的推理行为。但是，DeepSeek-R1-Zero 遇到了无休止的重复、可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能， DeepSeek 开始了 DeepSeek-R1，它在 RL 之前整合了冷启动数据。
QwQ-32B 测评和使用教程来了！
Datawhale
03-07 1659
Datawhale干货作者：张龙斐，Datawhale鲸英助教昨天凌晨，阿里开源了全新的推理模型：QwQ-32B。据官方发布消息，该模型性能比肩满血版 DeepSeek-R1（671B）！可以看到在官方放出的评测图中， QwQ-32B 与满血版 DeepSeek R1（671B）在五项基准测试的得分不相上下，更是远超同尺寸 R1 蒸馏模型。看到了这些消息后，我就开始上手深度测试。QwQ-32B...
【分享】千问 QwQ-32B在线版，推理速度太快了！100个token/秒
weixin_38978741的博客
03-11 418
将“API域名”及“模型名”分别粘贴到chatbox的API域名及自定义模型中。第二步，举例chatbox，点击复制API密钥到chatbox设置中。*注意将模型从DeepSeek R1切换成qwq 32b。第四步，点击保存，点击“新对话”就可以使用了。第一步，创建API密钥（支持创建多个）, anythingllm等。无需代码，API一键部署！第三步，找到API调用信息。支持对话及文件上传分析。QwQ-32B性能比肩。
QwQ-32B：拥抱推理与批判性思维的力量
YBYB_1234的博客
03-14 833
QwQ是Qwen系列中的一员，它专注于推理能力的提升，尤其擅长处理涉及复杂问题解决的下游任务。QwQ-32B是该系列的一款中型模型，采用了最新的Qwen2.5架构，相较于其他主流推理模型如DeepSeek-R1和o1-mini，QwQ-32B在性能上具有强大的竞争力。QwQ-32B代表了推理模型的一大进步，它的应用不仅限于推理任务本身，还涵盖了各种实际问题的解决方案。通过合理的配置和使用，QwQ-32B可以在多个领域中展现其强大的推理能力，为您的项目提供强有力的技术支持。
在华为昇腾服务器Ascend 300I Pro 310P芯片（ 310P3）安装QWQ32B大模型以及deepseek蒸馏版！
ssp584731180的博客
03-10 2317
备注：官网镜像下载，需要申请，审批还得1,2天，这时你肯定想骂HW！没事，我已为您准备好了：请发私信！和上述的操作一致：只需要将下载的模型的config.json中的 dtype改为：float16后保存。npuDeviceIds：显卡ID (根据自己情况，npu-smi info 查看)注意事项：模型上传到服务器需要给于模型下config.json权限。modelWeightPath：模型路径（容器内的）测试：如果防火墙没关，请放开1025端口！modelName：模型名称。看到如下界面就启动成功了！
停止过度思考：大语言模型的有效推理综述（上）
最新发布
yorkhunter的博客
03-27 1299
25年3月来自休斯敦 Rice U 的论文“Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models”。 大语言模型 (LLM) 在复杂任务中表现出卓越的能力。大型推理模型 (LRM)（例如 OpenAI o1 和 DeepSeek-R1）的最新进展通过利用监督微调 (SFT) 和强化学习 (RL) 技术来增强思维链 (CoT) 推理，进一步提高了数学和编程等系统 2 推理领域的性能。然而，虽然较长的 CoT 推
DeepSeek-V2模型：性能评估与测试方法
gitblog_02467的博客
01-09 876
DeepSeek-V2模型：性能评估与测试方法 DeepSeek-V2 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/DeepSeek-V2 ...
一文搞懂DeepSeek - 强化学习和蒸馏
xx_nm98的博客
02-04 3750
成功开发出具备**自我验证和长思维链等推理能力的DeepSeek-R1。大模型的推理模式可被有效蒸馏到小模型中，实现性能显著提升。__**表明大型语言模型（Large Language Models）的推理能力可以。。********也同样强大？可以被蒸馏到小模型中，与通过小模型上的强化学习发现的推理模式相比，这种方法能获得更好的性能。蒸馏，让小模型同样强大。又一王炸级别的0-1技术创新，难怪硅谷一帮大佬坐不住了。
deepseek-r1模型各个版本区别
03-22
### DeepSeek-R1 模型各版本的区别对比 #### 版本概述 DeepSeek-R1 是一系列基于蒸馏技术和推理优化的大规模语言模型，旨在通过不同的参数量和技术手段满足多样化的应用场景。以下是各个版本的主要特点及其区别： #### 1. **DeepSeek-R1-7B** 该版本是一个较小的模型，具有约 70 亿个参数。它通过蒸馏技术从更大的 DeepSeek-R1 模型中提取知识[^1]。尽管体积更小，但在多个基准测试中表现出色，甚至超越了一些非推理模型（如 GPT-4o-0513）。这种高效的表现使其成为资源受限环境下的理想选择。 #### 2. **DeepSeek-R1-14B** 此版本拥有大约 140 亿个参数，相较于 7B 版本有更高的复杂度和更强的能力。在所有评估指标上，DeepSeek-R1-14B 显著超过 QwQ-32B-Preview，展现出卓越的推理能力和广泛的适用性。这一版本适合需要更高精度的任务场景。 #### 3. **DeepSeek-R1-32B 和 DeepSeek-R1-70B** 这两款模型分别具备 320 亿和 700 亿个参数，代表了 DeepSeek-R1 系列中的高端产品线。它们不仅在多数基准测试中大幅领先 OpenAI 的 o1-mini，还体现了蒸馏技术的巨大潜力。这些大规模模型适用于复杂的多模态任务或高度专业化的需求。 #### 4. **DeepSeek-V3** 不同于上述专注于大小与性能平衡的设计理念，DeepSeek-V3 更侧重于将长链思维 (Chain of Thought, CoT) 技术引入到标准 LLM 中[^2]。通过融合来自其他 R1 系列成员（例如 R1-14B 或更大版本）的验证和反思机制，V3 实现了显著增强的逻辑推导能力。此外，针对输出样式及篇幅也做了精细调整，从而更好地服务于特定类型的用户群体。 --- ### 总结比较表 | 参数/特性 | DeepSeek-R1-7B | DeepSeek-R1-14B | DeepSeek-R1-32B & 70B | DeepSeek-V3 | |------------------|-------------------------|--------------------------|----------------------------|---------------------------| | 参数数量 | ~7B | ~14B | ~32B / ~70B | N/A | | 主要优势 | 高效、轻量化 | 平衡性能与尺寸 | 极致性能 | 增强推理能力 | | 应用场景 | 资源有限设备 | 多数通用任务 | 高端科研项目 | 推理密集型工作流 | 以上内容综合反映了不同版本间的核心差异，并突出了各自的应用方向和发展趋势[^3]。 ```python # 示例代码：假设我们有一个函数用于加载指定版本的模型并返回其基本信息 def load_model(version): versions = { 'R1-7B': {'params': 7e9, 'description': 'Efficient and lightweight'}, 'R1-14B': {'params': 14e9, 'description': 'Balanced performance'}, 'R1-32B': {'params': 32e9, 'description': 'High-end research'}, 'R1-70B': {'params': 70e9, 'description': 'Extreme capabilities'} } model_info = versions.get(version) if not model_info: raise ValueError(f"Unsupported version {version}") return f"{version} has {model_info['params']} parameters ({model_info['description']})." print(load_model('R1-7B')) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值