最新最强开源模型 Qwen3 本地运行方法! Windows+ollama+chatwise

千问在放假前扔出了一个重磅炸弹💣–Qwen3 !

Qwen 3 logo

Qwen3 在编码、数学、通用能力等能力上可以直接和 Gemini,chatgpt,Grok 最强模型掰手腕。

图像

模型支持开关深度思考能力,提供多种尺寸,可以在不同设备上运行,支持 119 种语言,还特别增强了智能体能力,支持 MCP。

能力强,可玩性高。

尤其是全部开源,提供了 0.6B 到235b 的全尺寸模型。非常适合在本地运行,做私有化部署。

最小的模型只有523M。

40亿参数的模型只有 5.2G,一张8G 的显卡,可以轻松运行。但是它的能力却可以匹敌Qwen2.5 - 72B

这不是倒反天罡了,必须在本地跑一跑了!

下面就演示一下如何在 Windows,通过 Ollama 和 Chatwise 等软件,快速部署和运行Qwen3。

这种方式完全不需要懂代码,也不要任何复杂配置!甚至不需要魔法🧙‍♀️。

下面我就完整演示一下安装和运行的过程。这些工具我都在以往的文章中有详细的介绍。所以本文重点介绍核心操作。

安装Ollama

Ollama是一个非常适合体验新模型的工具。只需一行命令,就可以加载和运行模型。目前 Ollama 已经支持Qwen3 全系列模型了。

所以第一步,就是安装或者更新 Ollama 到 V0.6.6。

如果之前已经安装过了,点击系统托盘,找到 Ollama 的图标。右键点击,在菜单中点选重启更新即可。

img

如果之前没有使用过,那么可以去 ollama.com 下载软件。

img

主要点击 Download 下载 Windows 版本即可,当然,也支持 macOS 和 Linux。只要下载对应版本即可。

下载完成之后,双击安装就可以了。和安装普通软件没有差别。安装啊完成之后会自动启动。右下角托盘中会有图标。

下载模型

软件安装完成之后,在网页上点击模型(Models),找到 Qwen3。

img

Qwen3 已经在热门排行榜第二名了。从卡片信息中可以看到,发布仅五个小时,已经有 32k 的下载了。

点击 Qwen3,进入详情页。

img

复制命令:ollama run qwen3

打开 CMD

img

直接搜出 cmd,回车打开即可。这是系统自带的命令工具。

输入命令:ollama pull qwen3

img

输入或者粘贴命令,然后按一下回车键(Enter)。

Ollama 就会开始下载模型了。如果是 pull 命令,只是下载不运行。如果是run 命令,下载之后会自动载入模型。

为了步骤清晰一些,我这里先下载,下载完成之后再运行。

运行和对话

当模型下载完成之后,就可以运行模型,进行对话了。

输入命令:ollma run qwen3

img

输入命令之后,就可以直接输入问题了。比如我这里先礼貌的问一句“你好,你是谁”。

千问就直接回答了。从回答过程可以看到,即便是 8B 的模型,默认也是具备深度思考能力(think 标签里面)。

然后问一下它的核心技能:

img

它自己总结了一下7个特点。

1.多语言支持

我能流畅地使用中文、英文、日文、韩文、法文、西班牙文等语言进行交流,适合跨语言沟通和内容创作。

2.知识覆盖广泛

我掌握科学、文化、技术、历史、艺术等领域的知识,可以回答从基础常识到专业问题的各类问题。

3.逻辑推理与分析

我能帮助你进行逻辑推理、数学计算、数据分析,甚至解决复杂的编程问题。

4.创意与写作

我可以协助创作故事、诗歌、剧本,或者帮你润色文案、设计对话,让文字更生动有趣。

5.个性化服务

根据你的需求,我可以调整回答风格(比如更正式、更口语化),或者提供针对性的建议。

6.学习与辅助

我能帮助你理解复杂概念、整理学习资料,甚至模拟考试或练习题解答。

7.跨领域协作

无论是日常对话、工作规划,还是创意项目,我都能提供灵活的支持。

运行速度

通过添加–verbose 可以显示模型的回答速度。

img

上图为 3090 上,运行 8B 模型的速度,98tokens/s 快到飞起!

运行 30B 模型的情况如下:

img

速度大概是 27tonkens/s ,还不错。

顺便试了一下它的 /nothink/think 标签,可以自由切换深度思考和非深度思考。

可视化运行

通过上面的方式,已经可以在本地使用 AI 模型了,可以完全断网离线使用。但是,通过命令界面来对话,总是不太方便。

接下来就使用可视化的方式来运行,也就用客户端软件来进行对话。

具体的软件名称叫 chatwise,这个软件简洁,方便,更新快

直接打开 chatwise.app, 点击 Download 下载,下载之后安装。

img

安装完成之后,选择一下模型。

img

我这里下载了一堆模型,这次主要关注的是 qwen3,所以选择 qwen3开头的模型。具体选哪个看你的电脑配置。配置高就选 30B 这个,配置低就选默认 latest 这个。

选择完成之后,在底部输入框,输入内容,就可以开始聊天了。

img

这个对话内容,和命令行是一模一样的。只是现在我们是通过可视化界面来进行聊天和管理对话,会方便很多。

通过简单几个步骤,你就拥有最强的本地AI 对话模型了!

简单测试了一下这个模型,感觉基础能力还挺强的。在关闭推理功能的情况下,竟然可以直接正确回答下面两个问题。

img

img

就在同一个时刻,OpenAI 的 4o 还回答不了。

img

img

除了 4o 之外,大部分非推理的模型都回答不了这两个问题。

Qwen3 是一个既可以开启推理,又可以关闭推理的模型。在关闭推理的情况下,它还是能快速且准确地回答上面两个问题。 按这趋势下去,OpenAI 的闭源模型,不会真的被开源干翻了吧。

那么,如何系统的去学习大模型LLM?

作为一名从业五年的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?我自学没有方向怎么办?这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!这些问题啊,也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
在这里插入图片描述

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。
在这里插入图片描述
在这里插入图片描述

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
在这里插入图片描述

👉②.进阶篇👈

接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
在这里插入图片描述

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
在这里插入图片描述

👉④.福利篇👈

最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
在这里插入图片描述
相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值