我在Mac上部署了阿里开源Qwen3，这3个玩法让我上头

最新推荐文章于 2025-05-27 22:50:48 发布
最新推荐文章于 2025-05-27 22:50:48 发布
阅读量801 收藏 10
点赞数 16
文章标签： macos 开源 数据挖掘 人工智能 信息可视化 embedding ui
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Python_cocola/article/details/148238254
版权

五一回老家那会，和发小吃了个饭，聊到了现在的 AI。

发小说看我玩 AI 玩的挺疯的，也想用在工作中提效，可公司电脑不让联网。

这一下就把我拉回到了数年前，在讯飞某保密项目中无网干撸代码的情形。

这真是太痛苦了。

img

为了让发小能在工作中用到 AI，我尝试教他本地部署最近很火的 Qwen3。

并发现了下面 3 种有趣实用的玩法，该说不说，Qwen3 确实让人上头。

img

经过一番折腾，发现果然官方说的“Qwen3-4B 这样的小模型也能匹敌 Qwen2.5-72B-Instruct 的性能。”，诚不欺我。

img

我的 Mac 部署的是最新的 Qwen3-8b，如果配置再好点，搞个 14b，那效果又上一个层次了。

不过在介绍本地部署和我的几个实践之前，觉得还是有必要和大家先聊聊 Qwen3。

后面会介绍如何本地部署 Qwen3 以及 3 大玩法。

Qwen3 是阿里在上个月底发布的新一代开源大语言模型系列，属于通义千问（Qwen）家族的最新一代模型。

短短半个多月，就已经在 GitHub 上获得了可怕的 21.1 k 的 star。

img

牛逼，我的开源项目 PmHub 快一年了也才三百多个 star。

还有一个很让我意外的新闻，国际权威媒体日本经济新闻（NIKKEI）4月公开的AI模型评分榜，阿里的通义千问在113个模型中排名第6，是排名第一的开源模型。

img

据说，日本企业中得分最高的模型ABEJA-Qwen2.5-32B正是基于千问开发，日经媒体官方甚至也表示：千问已经成为了日本AI开发的基础。

写到这里的时候，我其实是有些热泪盈眶的，忽然想起钱学森归国时说过的话："手里没剑和有剑不是一回事。

Qwen3 目前能支持 119 种语言，还能支持一些地方语言。

img

这个其实意义还蛮大的，别看 AI 这么火，但还是很多国家并没有技术能力去开发自己语种的 AI 大模型。

Qwen3 的开源，直接让他们有了可以依赖的开源模型。

img

可以看到的是，不止是日本，通义千问已经成为多国AI开发基础，

比如这位国外的 X 老哥基于Qwen/Qwen2-72B 开发了个用法语回答问题的机器人。

img

还有这个日本老哥（或是老姐？）用 Qwen3-8 B 进行日语微调。

img

我发现，在 X 上，对 Qwen3 大家还是相当认可的，国外博主都在争相报道。也难怪 GitHub 飙升的这么快。

突然感觉，这一幕似成相识，这不咱们这边蹲OpenAI的既视感吗？

在墙外人的眼中，它好像真是香饽饽。

很多人好奇为啥不是 DeepSeek？从数据来看，DeepSeek 的部署成本还是相对高了，Qwen3 的成本很低，旗舰模型235B参数部署成本几乎只要DeepSeek-R1的三分之一。

而且 Qwen3 是一个开源的混合推理模型，能够在思考模式和非思考模式下自由切换，可以帮助在成本效益和推理质量之间实现更优的平衡。

img

除此之外，Qwen3 在 Agent 能力上表现很出色，模型底层天然支持MCP协议。

这就很舒服了呀，也难怪那么人选择作为 AI 开发基础。

好啦，如果想更多了解，大家可以通过以下地址了解和体验 Qwen3：

Qwen Chat：https://chat.qwenlm.ai
通义 APP：https://www.tongyi.com/
GitHub：https://github.com/QwenLM/Qwen3

当然你也可以向苍何一样本地部署个小模型 Qwen3，玩一玩，还可以进行微调。

下面我们沉浸式体验下。

本地部署Qwen3

这里我依旧使用 Ollama 来部署。

在 Ollama 选择 Models，找到 qwen3：

img

选择对应尺寸参数，我的 Mac 最多支撑 8 b 了。

具体计算大家可以参考这个公式：模型所需GPU内存大小≈模型大小×1.2。
我的 mac 是 16 G，理论上能跑 8 b。

img

复制这个命令，本地终端执行。

img

一共 5.2 G，偷偷看了一眼电脑剩余空间，留下了不争气的泪水。

img

复制命令后，慢慢等他下载模型，等就好了。

img

部署完后，你就可以直接和他对话。

img

但我想没人会直接这么完。通常会结合具体的使用场景来搞。

下面是一些我觉得本地部署模型能给我们实际带来的一些帮助 case。

本地部署数据隐私可以保护，而且可以针对性的做微调，做 RAG。

知识库

这里我用 Cherry Studio 做了 3 个知识库，把相应的数据导入。

img

然后在模型这里选择刚部署的 Qwen3，就可以实现基于知识库的提问了。比如我的知识库里面有之前自己写的 rocketmq 专栏，他都能给我快速找到。

img

基于微信读书笔记进行特定语句提问以及总结。

img

整体效果我体验下来是比之前要好很多的。不过知识库不能太大，不能小模型也抵不住。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

Qwen3开源发布：Think Deeper, Act Faster！推理、部署、微调、MCP调用实战教程
zhangjiaofa的专栏
04-29 308
今天，通义千问Qwen团队正式开源推出 Qwen3，这是 Qwen 系列大型语言模型的最新成员。最新的Qwen3系列模型具备双模推理能力（深入思考/快速响应）、支持119种语言及方言，并强化了Agent功能与代码执行能力，全面满足复杂问题处理与全球化应用需求。其中，旗舰模型 Qwen3-235B-A22B 在代码、数学、通用能力等基准测试中，与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等顶级模型相比，表现出极具竞争力的结果。
我在Mac上部署了阿里Qwen3，这3个玩法让我上头
一个成长中的程序员，期待用技术的眼光生活
05-15 993
大家好，我是苍何。五一回老家那会，和发小吃了个饭，聊到了现在的 AI。发小说看我玩 AI 玩的挺疯的，也想用在工作中提效，可公司电脑不让联网。这一下就把我拉回到了数年前，在讯飞某保密项目中无网干撸代码的情形。这真是太痛苦了。为了让发小能在工作中用到 AI，我尝试教他本地部署最近很火的 Qwen3。并发现了下面 3 种有趣实用的玩法，该说不说，Qwen3 确实让人上头。经过一番折腾，发现果然官方说的“”，诚不欺我。
Qwen3来袭，一手实测来了，系列里面最好用的竟然是它
2401_84204413的博客
04-29 3008
由于时间关系，没有测试更多模型，但是我们可以很明显看到一个惊人的结论：Qwen3-30B-A3B应该是目前部署性价比最高的模型，对于要求速度同时又要求精度的场景，如果你不考虑用多少显存，大概率可以直接上；Qwen3-32B目前可能是同尺寸开源最强的模型，对于企业级应用应该是绰绰有余，几乎可以直接替代Deepseek-R1.Qwen3-8B用来部署企业级应用，甚至在VL模型出来之后，可能成为多模态模型的标配，而Qwen3-4B-VL，可能达到现在32B-VL的水准。
【LLMs篇】12：Qwen3 技术报告翻译
u013010473的博客
05-21 724
Qwen3 模型系列旨在提升大型语言模型的性能、效率和多语言能力，涵盖从0.6B到235B参数规模的密集型（Dense）和混合专家（MoE）架构。其核心创新包括统一的思考模式与非思考模式框架，支持动态模式切换和思考预算机制，优化计算资源分配。模型通过知识迁移减少小规模模型的计算需求，并在架构上引入QK-Norm和细粒度专家切分等技术。预训练采用三阶段策略，涵盖通用、推理和长上下文训练，后训练则包括复杂的四阶段流程和强到弱蒸馏方法。数据处理方面，开发了多语言标注系统，支持实例级优化。Qwen3支持119种语言
7GB显存如何部署bf16精度的DeepSeek-R1 70B大模型？
ultingCSDN的博客
05-19 849
本文介绍了在AutoDL算力云平台上通过优化显存管理技术，成功在7GB显存下运行DeepSeek-R170B大模型的过程。通过降低模型精度至bfloat16，显存需求减少50%，再通过INT4对称量化，模型体积压缩至原始尺寸的25%（140G→35G）。结合vLLM PageAttention显存管理引擎，显存碎片率降低80%以上，并启用GPU-CPU交换空间，进一步降低显存需求。最终，在单机单卡7GB显存下成功启动模型，尽管推理速度较慢（0.4token/s），但展示了在有限资源下运行大模型的可行性。
深度解析！阿里Qwen3部署全攻略：从代码到实战，手把手教你打造智能应用（附10大行业案例）
2401_84495872的博客
05-15 721
2025年Qwen3的发布标志着中国AI技术进入新纪元。这款集混合专家系统（MoE）、动态推理架构、全模态支持于一身的模型，不仅登顶全球开源大模型榜单，更以“参数效率提升300%、推理成本降低55%”的突破性表现引发行业震动本文将从环境配置、模型加载、推理优化、多模态整合四大维度，结合10个真实行业案例，深度拆解Qwen3部署的核心技术。Qwen3的MoE架构采用分层稀疏调度技术，开发者可通过配置文件灵活控制专家激活策略：个人观点：这种“按需分配”的机制大幅降低了显存占用。以30B-A3B模型为例，其推理显
《手把手教你部署阿里Qwen3开源大模型，解锁AI新世界》
zheng_ruiguo的专栏
04-29 990
在当今科技飞速发展的时代，人工智能无疑是最耀眼的领域之一，而大模型则是其中的核心驱动力。2025 年 4 月 29 日凌晨，阿里巴巴开源新一代通义千问模型 Qwen3，犹如一颗重磅炸弹，在全球人工智能领域掀起了巨大的波澜。Qwen3 的开源，瞬间吸引了全球开发者、研究机构和企业的目光，发布短短 2 小时，Qwen3 模型在 GitHub 上的 star 数就已超过 16.9k，其受欢迎程度可见一斑。它的出现，直接登顶全球最强开源模型王座，参数量仅为 DeepSeek-R1 的 1/3，但成本大幅下降，性能却
最强开源大模型面世：阿里发布Qwen2
OneFlow深度学习框架
06-07 5070
今天凌晨，阿里巴巴通义千问团队发布了Qwen2系列开源模型。该系列模型包括5个尺寸的预训练和指令微调模型：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。随即，硅基流动团队在云服务平台SiliconCloud上线了Qwen2-7B、Qwen2-57B-A14B、Qwen2-72B模型。欢迎来玩儿：https://cloud.sili...
怎么在Windows操作系统部署阿里开源版通义千问（Qwen2）
凯哥Java的博客
09-01 1137
随着人工智能技术的不断进步，阿里巴巴通义千问团队近期发布了Qwen2系列开源模型，这一系列模型在多个领域展现出卓越的性能，特别是在自然语言理解、知识、代码、数学及多语言等能力上均显著超越当前领先的模型。数字越大，精度越高，k是在所有的attention和feed_forward张量上将精度提升2位，m是在一半的attention和feed_forward张量上将精度提升2位。2. 选择适合的模型：根据您的硬件条件（如显卡显存大小），选择适合的Qwen2模型版本。在官方教程中，拉到最下面，可以看到效率评估。
LLama-factory webui在阿里云上简单快速部署微调Qwen大模型
01-20
西南交大的陈同学分享了如何在阿里云上简单快速部署微调Qwen大模型的步骤和技巧。以下是根据给定文件内容生成的详细知识点： 1. **Qwen大模型介绍**：Qwen是一个多模态大模型，拥有VL（视觉和语言）能力，它能够在...
Qwen3深度分析：Transformers PR代码全面解读！
2401_84204207的博客
04-23 3194
传统路由策略中，分配给不同专家的Token可能蕴含一些通用知识或信息。不同的专家可能会在各自的参数中获得这些通用知识，从而导致专家参数的冗余。若有专门的共享专家来捕捉和整合上下文中的通用知识，将缓解其他路由专家之间的参数冗余。这种冗余参数的减少有助于由更专业的专家构建更加参数高效的模型。为实现该目标，deepseek团队在细粒度专家划分的基础上进一步隔离一部分专家作为共享专家。无论路由模块如何，每个Token都将会被送入这部分共享专家。
Qwen3即将发布？深度研究报告——解析阿里巴巴新一代大语言模型的技术革新与行业影响
Android23333的博客
04-03 1494
Qwen3最引人注目的创新在于其动态可调混合专家架构。相较于前代产品的固定结构，第三代MoE系统通过以下机制实现智能资源分配： 分层稀疏调度：配置文件中的mlp_only_layers参数允许开发者指定仅使用传统MLP的层序号，而decoder_sparse_step参数控制MoE层的插入间隔。例如配置mlp_only_layers = [0,6]时，模型将在第0、3、6层启用MoE，其余层保持密集计算。 动态专家激活：每个token处理的激活专家数num_experts_per_tok默认设置为8，总
最强开源大模型？Qwen3 系列深度解析 + 本地部署指南！
xiaoganbuaiuk的博客
04-30 2800
Qwen3 支持在一个模型中无缝切换“
AI产品经理月薪3W：学习路线全攻略，非常详细！
2401_84204207的博客
02-28 1143
要成为一名月薪三万的AI产品经理，需要构建一套全面的学习路线，这不仅涵盖技术知识，还包括产品管理、市场分析、商业策略和软技能。以下是简化版的学习路线，旨在帮助有志于成为高薪AI产品经理的人士。
Qwen3真香！不愧为目前最强开源模型！（附本地部署教程）
2401_84494441的博客
05-15 966
五一假期眼看就结束了，咱也得抓紧时间卷一下子。这不，节前，阿里发布了全新一代模型Qwen3。开源大模型新的王者，继Claude 3.7 Sonnet、Gemini 2.5家族后全球唯三的混合推理模型，也是国内首款“混合推理模型”，正式发布。特别是，旗舰型号Qwen3-235B-A22B（2350亿总参数，220亿激活参数）表现炸裂！在代码、数学、通用能力等测试中，它完全不输于DeepSeek-R1、o1、o3-mini、Grok-3、Gemini-2.5-Pro这些顶尖模型。
本地部署Qwen3小参数版本实测：并非鸡肋
2401_84380512的博客
05-04 1139
Qwen3系列模型是阿里云推出的新一代开源大语言模型，涵盖了多种参数规模的模型，从0.6B到235B不等。今天我们测试的小参数版本，比如Qwen3 - 4B，官方宣称它能匹敌Qwen2.5 - 72B - Instruct的性能。如果真能如此，那在本地部署这样一个小参数模型，既能满足一定的使用需求，又对硬件要求相对较低，说不定能打破本地部署大模型是鸡肋的说法。
Mac redis下载和安装
简公子的博客
05-27 173
目录1、官网：https://redis.io/2、滑到最底下3、下载资源
如何在Mac 上使用Python Matplotlib
介绍AWS Azure GCP devops Terraform 等技术
05-23 833
本文详细介绍了如何在搭载M1或更新arm64处理器的macOS BigSur上安装Python 3.9及其相关库（NumPy、SciPy和Matplotlib）。由于默认的Python 2.7已停止支持，且官方Python版本无法通过pip原生安装这些库，因此推荐使用Miniforge进行安装。首先，通过终端安装命令行工具，然后下载并运行适用于arm64架构的Miniforge脚本。安装完成后，使用conda命令创建并激活新环境，并在其中安装所需的库。最后，通过一个简单的Matplotlib示例展示了如何绘
MacOS内存管理-删除冗余系统数据System Data
最新发布
GitHub-ChauserMondieu
05-27 216
本文介绍了Mac系统中"System Data"占用过大空间的解决方法。
mac本地部署qwen3
04-30
### 如何在Mac上本地部署Qwen3大语言模型 要在Mac上本地部署Qwen3大语言模型，可以选择多种方法，包括但不限于Ollama方式、vLLM方式以及直接使用GGUF格式的单文件模型。以下是详细的实现方案： #### 方法一：通过Ollama方式进行本地部署 Ollama是一个轻量级工具，能够方便地管理和运行大型语言模型。其主要特点是可以简化模型加载过程，并支持多个模型的同时运行。 1. **安装Ollama** 使用Homebrew安装Ollama： ```bash brew install ollama ``` 2. **下载Qwen3模型** Ollama提供了便捷的命令行接口用于下载和管理模型。执行以下命令以获取Qwen3模型： ```bash ollama pull qwen3-7b-instruct-gguf ``` 3. **启动模型服务** 启动Ollama服务器并将模型加载到内存中： ```bash ollama run qwen3-7b-instruct-gguf ``` 此时可以通过HTTP API或CLI与模型交互[^4]。 --- #### 方法二：基于vLLM框架进行本地部署 vLLM是一种高效的推理引擎，特别适合高性能需求的场景。它支持CPU和GPU加速模式。 1. **准备环境** 确保已安装Python 3.8及以上版本。然后创建虚拟环境并激活： ```bash python -m venv env_vllm source env_vllm/bin/activate ``` 2. **安装依赖项** 卸载旧版vLLM和PyTorch（如果有），再按照官方指南重新安装适用于CPU的版本： ```bash pip uninstall vllm torch -y pip install -r https://raw.githubusercontent.com/vllm-project/vllm/main/requirements-cpu.txt VLLM_TARGET_DEVICE=cpu pip install git+https://github.com/vllm-project/vllm.git ``` 3. **下载Qwen3模型权重** 访问魔搭社区或其他可信资源站点，下载对应于Qwen3的GGUF格式模型文件[^2]。假设目标路径为`~/models/qwen3-7b-instruct-gguf`. 4. **编写启动脚本** 创建一个简单的Python脚本来初始化和服务化模型： ```python from vllm import LLM, SamplingParams llm = LLM(model="path/to/qwen3-7b-instruct-gguf", dtype="float16") sampling_params = SamplingParams(temperature=0.8, top_p=0.95) output = llm.generate(["你好！"], sampling_params=sampling_params) print(output[0].outputs[0].text) ``` 5. **测试模型功能** 运行上述脚本验证是否成功调用了Qwen3模型生成回复[^3]。 --- #### 方法三：利用Docker容器化技术 对于追求一致性和可移植性的开发者来说，采用Docker镜像是另一种可行的选择。 1. **拉取基础镜像** 执行如下指令从远程仓库提取预先构建好的镜像： ```bash docker pull registry.docker-cn.com/library/python:3.10-slim-buster ``` 2. **复制模型至容器内部** 将之前下载完毕的Qwen3 GGUF文件拷贝进去： ```dockerfile COPY ./qwen3-7b-instruct-gguf /opt/app/ WORKDIR /opt/app/ ``` 3. **定义入口点** 编写小型应用程序作为主进程负责接收请求并向用户提供响应结果。 --- ### 总结 以上三种途径各有优劣之处，具体选用哪一种取决于实际应用场景和个人偏好。如果倾向于简单快捷的操作流程推荐尝试Ollama；而当面临更高性能指标要求时则应优先考虑vLLM解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值