Qwen3+Ollama本地部署MCP初体验

最新推荐文章于 2025-05-06 21:24:31 发布

大语言模型

最新推荐文章于 2025-05-06 21:24:31 发布

阅读量763

点赞数 13

文章标签： github 程序员大模型应用人工智能 AI大模型 Qwen3 大模型开发

本文链接：https://blog.csdn.net/2301_81940605/article/details/147709089

版权

前言

小伙伴们五一快乐鸭，Qwen3已经发布好几天，热度依然不减；五一期间笔者尝试在本地体验Qwen3的能力，将所有过程分享给大家，大家一起动手试一试，一起玩转Qwen3;

当然除了本地这种模式，也可以选择云端的API，这里就不赘述了。

知识点

通过本文大家需要掌握以下知识点

Qwen3 相关知识
Ollama
Open WebUI (一个和ChatGPT类似的聊天的Web页面,支持ollama)
MCP 相关知识

MCP相关知识可以看这里： xxxx

Qwen3

阿里推出 Qwen3，这是 Qwen 系列大型语言模型的最新成员。我们的旗舰模型 Qwen3-235B-A22B 在代码、数学、通用能力等基准测试中，与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等顶级模型相比，表现出极具竞争力的结果。此外，小型 MoE 模型 Qwen3-30B-A3B 的激活参数数量是 QwQ-32B 的 10%，表现更胜一筹，甚至像 Qwen3-4B 这样的小模型也能匹敌 Qwen2.5-72B-Instruct 的性能。

开源了两个 MoE 模型的权重：Qwen3-235B-A22B，一个拥有 2350 多亿总参数和 220 多亿激活参数的大模型，以及Qwen3-30B-A3B，一个拥有约 300 亿总参数和 30 亿激活参数的小型 MoE 模型。此外，六个 Dense 模型也已开源，包括 Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B，均在 Apache 2.0 许可下开源。

Models	Layers	Heads (Q / KV)	Tie Embedding	Context Length
Qwen3-0.6B	28	16 / 8	Yes	32K
Qwen3-1.7B	28	16 / 8	Yes	32K
Qwen3-4B	36	32 / 8	Yes	32K
Qwen3-8B	36	32 / 8	No	128K
Qwen3-14B	40	40 / 8	No	128K
Qwen3-32B	64	64 / 8	No	128K

Models	Layers	Heads (Q / KV)	# Experts (Total / Activated)	Context Length
Qwen3-30B-A3B	48	32 / 4	128 / 8	128K
Qwen3-235B-A22B	94	64 / 4	128 / 8	28K

经过后训练的模型，例如 Qwen3-30B-A3B，以及它们的预训练基座模型（如 Qwen3-30B-A3B-Base），现已在 Hugging Face、ModelScope 和 Kaggle 等平台上开放使用。对于部署，我们推荐使用 SGLang 和 vLLM 等框架；而对于本地使用，像 Ollama、LMStudio、MLX、llama.cpp 和 KTransformers 这样的工具也非常值得推荐。这些选项确保用户可以轻松将 Qwen3 集成到他们的工作流程中，无论是用于研究、开发还是生产环境。

官网地址：https://qwenlm.github.io/zh/blog/qwen3/ 下文将使用Ollama进行Qwen3本地化

Ollama

Ollama 是一个轻量级、用户友好的框架，旨在让用户在本地运行开源大型语言模型，如 Llama 3、DeepSeek-R1、Gemma、Mistral、Qwen 等。它通过 Modelfile 将模型权重、配置和数据打包成一个统一包，类似于 Docker 镜像的概念，优化了模型的设置和 GPU 使用。Ollama 的核心优势在于隐私性、灵活性和离线可用性，特别适合对数据安全有高要求的场景。

主要特点

本地运行：

所有数据处理都在本地进行，无需将敏感数据发送到云端，保障隐私和安全。
支持离线使用，无需互联网连接即可运行模型，适合无网络环境下的应用。

广泛的模型支持：

支持多种开源模型，包括 Llama 3.2、Gemma 2、Mistral、Codestral 等，适用于文本生成、代码生成、翻译等任务。
用户可从官方模型库拉取预训练模型，或通过 Modelfile 创建自定义模型。

跨平台兼容性：

支持 macOS、Linux 和 Windows（Windows 支持为预览版）。
可在本地设备或虚拟专用服务器（VPS）上运行，适合个人项目或团队协作。

用户友好的接口：

主要通过命令行界面（CLI）操作，适合技术用户快速拉取、运行和管理模型。
支持第三方图形用户界面（如 Open WebUI），提供更直观的操作体验。

API 集成：

提供 REST API，支持 Python、JavaScript 等编程语言集成。
与 LangChain、LlamaIndex 等框架无缝集成，方便构建复杂 AI 应用。

安装和使用步骤

下载和安装：访问 Ollama 官网或 GitHub 页面，下载适用于您操作系统的安装包。 Linux 和 macOS 用户可通过以下命令快速安装：

curl -fsSL https://ollama.com/install.sh | sh

Windows 用户需下载安装程序并按提示操作。

拉取模型：

使用 CLI 拉取所需模型，例如：

ollama pull llama3.2

可从 Ollama 模型库查看可用模型。

运行模型：

通过命令运行模型并直接交互：

ollama run llama3.2

输入提示（如“解释机器学习基础”），模型将生成响应。

API 调用：

启动 Ollama 服务器：

ollama serve

使用 cURL 或编程语言调用 API，例如：

curl http://localhost:11434/api/generate -d '{"model": "llama3.2", "prompt": "Why is the sky blue?"}'

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望