阿里深夜开源推理模型QwQ-32B,性能比肩R1满血版

今夜,Manus发布之后,随之而来赶到战场的,是阿里。

凌晨3点,阿里开源了他们全新的推理模型。

QwQ-32B。

本来还有点意识模糊,当看到他们发出来的性能比对图,我人傻了。

QwQ-32B 在几乎所有数据集上的表现都与满血版 DeepSeek R1(671B)相当,特别是在数学和代码方面。此外,它的基准测试成绩远超 o1-mini。这让我感到非常惊讶。今天(2025年3月6日),这个消息对我冲击很大。GPT-4.5 刚刚显示出传统方法的局限性,而阿里却用 QwQ-32B 证明了强化学习仍有巨大潜力。这一结果也与最近在 arXiv 上发表的一篇热门论文相吻合。

一堆斯坦福教授集中讨论,为什么Qwen-2.5-3B一开始就能自己检查自己的答案,Llama-3.2-3B却不行。

最后的原因还是落在了Qwen团队的强化学习上。因为,这能让模型自己学会一些关键的“思考习惯”。

魔搭开源链接:https://modelscope.cn/models/Qwen/QwQ-32B

huggingface开源链接:https://huggingface.co/Qwen/QwQ-32B

当然如果想直接上手体验,官方也给出了在线体验的地址:

https://chat.qwen.ai/?models=Qwen2.5-Plus

左上角模型选择Qwen2.5-Plus,然后开启Thinking(QwQ),就能用QwQ-32B了。

我这边也第一时间在AutoDL租了一台A800-80G的显卡,然后把模型下载了下来,并部署测试了一下这个怪物。综合体验下来,本地部署版和网页版其实是一样的。

性能曲线是这样的。

我也做了一些测试。

首先就是,我觉得赛博半仙易主了。这回的QwQ-32B真的能当八字算命大师了。

懂得都懂,AI自媒体人的命也是命,它掐指一算,就知道我经常熬大夜,狂肝文章。下半年家里那些鸡毛蒜皮的事就别提了,为了搭我的摄影棚,把景深弄得更到位,我是真得搬家啊。。。

当然,AI算命只能算是个开胃菜,接下来还是得认真测下QwQ-32B的数学能力。

然后就是拿我的著名的国庆调休题来难为下这类推理模型了:

这是中国2024年9月9日(星期一)开始到10月13日的放假调休安排:上6休3上3休2上5休1上2休7再上5休1。请你告诉我除了我本来该休的周末,我因为放假多休息了几天?

比如Grok3这种,开了推理还是直接炸了。

答案明明是4天,你咋独自加了3天。。。

而看看QwQ-32B,在一顿小推理之后。

最后答案,完全正确。

要知道,这可只是一个32B的小模型啊。。

然后我还试了一下代码能力。我就直接去Leetcode找了一道困难级别的算法题,解数独。

可能有人不知道Leetcode是啥,LeetCode 是一个全球知名的在线编程练习平台,这个平台有大量不同难度的算法题库,从简单到困难的各种编程题都有。

我直接把解数独的题目还有代码模板丢给QwQ-32B,让它给出最优解的代码:

编写一个程序,通过填充空格来解决数独问题。
数独的解法需遵循如下规则:
数字 1-9 在每一行只能出现一次。
数字 1-9 在每一列只能出现一次。
数字 1-9 在每一个以粗实线分隔的 3x3 宫内只能出现一次。(请参考示例图)
数独部分空格内已填入了数字,空白格用 '.' 表示。
然后给定你一个类,给我一个比较好的方案:
class Solution(object):
def solveSudoku(self, board):
"""
:type board: List[List[str]]
:rtype: None Do not return anything, modify board in-place instead.
"""

经过几分钟的思考,这道题的完整最优解代码也是被QwQ-32B成功给出。

我把这段代码粘贴到了Leetcode平台上,直接提交,没想到这段代码竟然完美的通过了全部测试用例吗,而且执行用时才127ms,击败了93%的在这个算法题库做尝试的人。

说实话,这个结果让我挺惊讶的,毕竟127ms的用时,看平均的用时基本都在1691ms左右。

Qwen-32B模型的强大之处,尤其是在未来的生态建设方面。相比于671亿参数的大模型,32亿参数的Qwen在本地算力需求和云服务成本上有着显著的优势。例如,在FP16精度下运行一个671亿参数的模型需要高达1400G的显存支持,这对于很多企业和开发者来说是一个难以逾越的技术与经济障碍。相比之下,只需四张NVIDIA 4090显卡就能运行Qwen-32B版本,这不仅降低了硬件门槛近15倍,而且其智能表现几乎可以与更大规模的模型相媲美。
这种相对较低的成本投入使得更多普通企业及个人开发者能够接触到先进的AI技术,并有机会根据自身需求对模型进行定制化调整或二次开发,极大地促进了技术创新与发展。尤其是对于那些致力于打造专业级AI解决方案的小型企业或是初创团队而言,Qwen-32B无疑提供了一个极具吸引力的选择——它既具备强大的逻辑推理、数学处理以及编程能力,又保持了良好的可访问性和灵活性。
此外,通过与阿里云资源、ModelScope平台以及Hugging Face镜像站等外部工具和服务相结合,使用Qwen-32B变得更加便捷高效,几乎消除了以往部署大型语言模型时遇到的各种难题。这意味着即使是非专业人士也能轻松上手,快速构建起自己的AI应用体系。
更重要的是,Qwen-32B的成功案例证明了采用强化学习与人类反馈(RLHF)训练方法依然能够在性能上取得突破,打破了部分人对于超大规模模型发展瓶颈的担忧。它展示了即使不依赖于极其昂贵的计算资源,中等规模的模型也完全有可能达到顶级水平,从而为整个开源社区带来了新的希望与动力。
总之,随着各大科技公司不断加大研发投入,未来还将有更多令人兴奋的技术创新涌现出来。就像最近备受关注的Manus项目那样,它正是基于Claude架构并结合大量微调后的Qwen小模型所实现的一个典型例子。由此可见,Qwen-32B不仅代表了一次重要的技术进步,同时也预示着新一轮竞争格局正在形成。

<think>嗯,用户想了解如何部署qwq-32b模型到VLLM平台上。首先,我需要回忆一下VLLM的基本知识。VLLM是一个高效推理和部署框架,支持大规模语言模型,特别是优化了自回归模型的推理速度。那部署模型的一般步骤是什么呢?通常需要安装环境、下载模型、配置参数、启动服务。 接下来,用户提到的qwq-32b模型,我需要确认是否有相关的引用信息。查看用户提供的引用内容,引用[1]提到了模型下载的路径,引用[2]和[3]则涉及部署中的注意事项,比如量化本和tokenizer的问题。特别是引用[3]提到需要修改tokenizer_config.json文件来解决输出问题,这可能是一个关键步骤。 首先,安装VLLM。用户可能需要安装最新本,使用pip命令。然后,下载模型,根据引用[1]的路径,使用modelscope或者git lfs下载。需要注意模型文件的大小,引用[2]提到量化本可能更适合消费级显卡,比如4bit的20G本,这可能影响用户的选择。 然后配置环境,可能需要设置CUDA环境变量。启动服务时,使用vllm的命令行工具,指定模型路径、tensor并行数等参数。如果遇到不输出<think>的问题,引用[3]的解决方法是修改tokenizer配置文件,删除相关token,这需要用户找到对应的json文件进行调整。 还需要考虑硬件要求,比如GPU显存是否足够。如果用户使用消费级显卡,可能需要量化模型,如引用[2]提到的。此外,部署后如何测试服务,比如使用curl或Python客户端发送请求,验证是否正常工作。 可能用户遇到的问题包括模型路径错误、显存不足、tokenizer配置问题等,需要逐一排查。总结步骤应该是:安装依赖→下载模型→调整配置→启动服务→验证测试。同时,提醒用户注意量化本的选择和可能的配置调整,确保部署顺利。</think>### 分步教程:使用vLLM部署QwQ-32B模型 #### 一、环境准备 1. 安装CUDA驱动 确保显卡驱动支持CUDA 11.8+,通过命令验证: ```bash nvidia-smi ``` 2. 创建虚拟环境(推荐) ```bash conda create -n vllm python=3.9 conda activate vllm ``` #### 二、模型下载 1. 通过ModelScope获取完整模型(需约60GB显存): ```bash pip install modelscope python -c "from modelscope.hub.snapshot_download import snapshot_download; snapshot_download('Qwen/QwQ-32B', cache_dir='./QwQ-32B')" [^1] ``` 2. (可选)下载4bit量化本(约20GB): ```bash ollama pull QwQ-32B:4bit ``` #### 三、vLLM安装配置 1. 安装最新vLLM: ```bash pip install vllm ``` 2. 修改tokenizer配置(解决不输出<think>问题): ```bash vim ./QwQ-32B/tokenizer_config.json # 删除"<think>"相关配置项[^3] ``` #### 四、启动推理服务 1. 基础启动命令(需A100 80G*2): ```bash python -m vllm.entrypoints.openai.api_server \ --model ./QwQ-32B \ --tensor-parallel-size 2 \ --gpu-memory-utilization 0.95 ``` 2. 消费级显卡启动(如RTX 3090 24G*2): ```bash python -m vllm.entrypoints.openai.api_server \ --model QwQ-32B:4bit \ --quantization awq \ --dtype half \ --tensor-parallel-size 2 ``` #### 五、服务验证 1. Python客户端测试: ```python from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1") response = client.chat.completions.create( model="QwQ-32B", messages=[{"role": "user", "content": "解释量子纠缠"}] ) print(response.choices[0].message.content) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值