DeepSeekR1 劲敌出现了，QwQ32B本地部署测试，RTX3060成功运行！

阿里千问平地一声雷，突然在凌晨3点发布了最新推理模型QwQ32B ！

发布说明很简单“今天，我们发布了 QwQ32B，这是我们最新的推理模型，它只有 320亿参数，可以与 deepseek -R1 等尖端推理模型相媲美” 。

然后在下面甩出来几个链接，包括博客，HF，模型，演示和在线使用的网站。

这条消息很简单，但是背后的东西一点都不简单。

就凭一句可以32B 与DeepSeek r1 媲美，就已经可以用Diao炸天来形容了，这成功了勾起了我的兴趣。

除了文字描述之外， 推文中还给出了一张基准测试的图片。

图中显示了 QwQ32B 和 deepseekR1 671B，以及 openai-o1的基准测试。从这个途中可以轻松的获取以下几点信息。

0. 12小时不到，169 万的阅读！

1. QwQ 320亿参数和 deepseekR1 6710 亿参数的满血版不分胜负（震惊.jpg）。

2. QwQ 吊打 32B 的 deepseek R1 蒸馏模型。

3. QwQ 多维度击败了 openai 的闭源模型 o1-mini

注意，这个模型只有 320亿参数啊。追平了 20 倍参数的巨无霸。

重点，现在你只要一张 RTX3090 或者 RTX4090 就可以把这个模型的量化版跑起来了。

DeepSeek 终于不孤单了，OpenAI 还有什么优势呢？

OpenAI 你好意思么？200 美金的 Pro，20 美金的Plus， 放在现在水平也一般般，还时不时降智！

既然是 32B 的模型，那么我们必须在本地安装一下试试。顺便实测一下这个本地运行的推理模型的智商。

现在要在本地运行大模型非常简单。只要 Ollama 支持就好了。

而 Ollama 的效率也极高，刚发布就支持了。

那么，一切就简单了。

人人都能上手完了。

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

1.安装并运行 Ollama

直接打开 ollama.com 官网，然后点击 Download 下载软件。

根据自己的操作系统来下载，目前支持 macOS的两个平台，还有 Windows 和 Linux。也就是说，基本上的系统都覆盖了。

下载完成之后，直接双击安装就好了！安装完成之后，在右下角托盘，或者 mac 的右上方，能看到一个羊驼的图标，就证明已经正常启动了。

2.下载 QwQ 32B 模型

Ollama安装完成之后，就可以开始去下载 QwQ32B 这个模型了。

模型非常好找，已经在 Models 界面冲上热榜第一名了。找到 qwq 然后进入详情页。复制红色框中的命令。

打开本地的终端或者 CMD。

直接输入命令：ollama run qwq

然后 Ollama 就会自动去下载模型了，下载完成之后就会自动运行。

下载这个模型，好像不需要魔法。

喜大普奔啊！否则近 20G的文件，下起来也是挺耗流量。

但是，可能是当前比较热门，下载速度越来越慢，急死个人！

搞了一下午，到晚上才下完，但是运行后惊喜。

我在 RTX3060 12G上抱着试试看的心态，运行了这个大模型，居然加载成功了，输入了内容，居然有回答，没有爆显存。

而且智力程度，绝对比降智的 openai 强。

任务管理器的情况如下：

CPU，内存，显存，全部都高负荷运行了。

回答的速度大概是，哒，哒，哒，哒，哒…这种感觉。这速度只能说能用，但是不好用。

所以我又在 3090 上下了 20G 的模型。。。跑起来之后，健步如飞。

3.集成到客户端

直接在命令行对话，不太方面，我们之前介绍过很多客户端，现在就可以用上了。

我这次用的客户端是 chatwise，因为这个比较简洁。

下面简单说一下配置问题。

如果的软件和 ollama 是在同一个机器上，几乎不需要配置，打开就直接用。大部分人都是这样，打开就直接用。

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

如果你像我一样在另外一台电脑上安装了 ollama，那么可以像上图一样修改一下BaseURL。IP地址就是运行 ollama所在电脑的 IP地址，端口就是你自己在环境变量中配置的端口，默认端口是 13434。

配置完成之后，就可以直接选择模型了。

在 Ollama 分类下选择 qwq:latest，这个就是 32b Q4 量化模型。

4.智力测试

我在测试 openai 降智问题的时候，总结出了四个问题。只要你的 chatgpt o3 降智了，这些问题全部回答不出来。所以证明这几个问题，有一定的测试价值。

下面就一个一个来看一下，本地运行的 32B 模型，能否全部答对。

问题 1： deepseek 里面有几个e？

回答正确（16秒）

这个问题看似简单，现在还有大量的模型回答不了。

问题 2： 11.9 和 11.12 哪个大？

回答正确（47 秒）

这也是一个经典的问题。很多大模型，连大小都比不清楚。

问题 3： 找出一个正整数 n，使得 n! 可以被 2^n 整除

回答正确（121 秒）

这个问题的本质并不是找答案，而是要意识到没有符合的答案。

问题 4： 有 5 个人排成一排，每人帽子颜色为红或蓝。他们可以看到前面的人的帽子，但看不到自己的。主持人宣布：“至少有一顶红帽子。”从最后一人开始，每人依次说“是”或“否”（表示是否知道自己帽子的颜色）。如果第 5 人说“否”，第 4 人说“是”，求所有可能的帽子颜色分布。

前面的问题都比较顺畅，但是这个问题出了一点状况。

第一次回答，疯狂思考，感觉脑子快烧坏了，我都有点心疼他（和我的显卡），在十多分钟的时候中断了。

重新开了一个对话，重新提问。

最终回答正确（196 秒）

然后我看了一下它的推理过程，它虽然脑子小，但是真的很努力。

结果简简单单几个字，脑子里思考了1万字啊

这么测试下来，32B Q4 量化版也很强，那么 [32B 满血版]可想而知。所以基本可以判断，千问没有吹牛，QwQ 32B 确实很牛。用 320 亿的参数，能正面硬刚6710亿参数的 DeepSeek R1。

国产开源模型，一个比一个狠。

关键是，32B，只要一张24G 的显卡就能跑起来了啊，而且跑得挺快。以前简直不敢想啊，几百万的设备成本，现在可以降到一万多了。这东西出来了，感觉普通终端大有可为了。

不说了，快搞起来！！！

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料。包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程扫描领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程扫描领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程扫描领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程扫描领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程扫描领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓