三步带你在手机上部署qwen3-4b小模型

最新推荐文章于 2025-10-29 17:07:07 发布
原创 最新推荐文章于 2025-10-29 17:07:07 发布 · 828 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#开源 #ai #语言模型

部署运行你感兴趣的模型镜像

昨天通义千问又又又开源了两个小尺寸模型，分别是Qwen3-4B-Instruct-2507 和 Qwen3-4B-Thinking-2507。
并且在非推理领域，Qwen3-4B-Instruct-2507 全面超越了闭源的 GPT4.1-Nano。
既然只有4B，我就想在我的IOS手机上安装一下，于是我上网搜了一下有哪些现成的App可以在IOS上部署开源大模型，果然被我找到了一个可用的。
有一个开源项目pocketpal：https://github.com/a-ghorbani/pocketpal-ai
PocketPal AI 是一款由小型语言模型驱动的口袋式 AI 助手，可直接在您的手机上运行。并且IOS和Android都可以运行。
目前在IOS的AppStore和Android的谷歌商店都能搜索到。
整个过程也很简单，只需要三步：

  1. 下载App
  2. 从huggingface上下载对应的大模型
  3. 选择模型
    这三步走完就能够在手机上和小模型进行对话。因为官方没提供量化版本的模型，用的是其他人提供的。
    下载完App后，具体操作步骤截图如下：
    点击模型下载
    在这里插入图片描述
    选择从Huggingface添加模型
    在这里插入图片描述
    搜索Qwen3-4B相关的模型
    在这里插入图片描述
    下载模型文件
    在这里插入图片描述

回到页面，选择模型后就能直接使用了
在这里插入图片描述

好啦，到这结束了，快去试试吧

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰（StepFun）与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量，支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是，它可以生成多种语言的歌曲，包括但不限于中文、英文、日文等19种语言

DeepSeek本地部署_ChatBox界面
热土程序园，利他愉己~
02-06 575
DeepSeek本地部署_ChatBox界面
手机端可部署的开源大模型； 通义千问2.5训练和推理需要的内存和外存
ZJQ的博客
04-14 774
通义千问2.5（Qwen2.5）有不同的参数规模版本，不同版本在训练和推理时对内存和外存的需求有显著差异。
如何搭建一个本地小模型，并添加知识库（完整部署流程）
m0_73759273的博客
09-17 407
然后Ctrl+C 再点击Y 退出nano。然后运行测试脚本就发现部署成功了。
Phi-3 模型手机部署教程（微软发布的可与GPT-3.5媲美的小模型）
老牛啊
06-23 2252
Phi 是微软AI研究院新推出的开源小型语言模型，适用于商业使用，其优势在于体积小、资源需求少，被称为“一个能跑在手机上的大模型”，我们通过Termux和Ollama工具，在我们手机上部署和体验……
基于Llama-Factory的qwen3-4b模型LoRA微调实践
pkyang2004的博客
10-29 1390
摘要：本文介绍了基于LLaMA-Factory框架对Qwen3-4B-Instruct-2507模型进行微调的实践。实验使用Chinese-DeepSeek-R1-Distill-data-110k数据集增强模型推理能力，通过调整批处理大小、梯度累积等参数完成40小时的训练。实践过程中遇到数据集下载失败问题，通过降低modelscope和datasets版本解决依赖冲突。
阿里 Qwen3 技术详解: 4B 参数媲美 72B，MoE 架构的开源突破
weixin_59191169的博客
05-05 2898
Qwen3 通过专家混合（MoE）架构实现了性能与效率的突破，其在编程、数学和常识推理等领域的优异表现展示了其跨任务的强大能力。开源策略进一步放大了其影响力，使其成为 AI 社区和行业的重要资产。无论是推动编程工具智能化、教育资源普惠化，还是催化企业级应用创新，Qwen3 都展现了深远的潜力。未来，随着更多开发者参与到 Qwen3 的生态建设中，其技术边界将被不断拓展。我们或许能看到它与视觉、语音等多模态技术的融合，或在边缘计算、绿色 AI 等新兴领域发挥更大作用。
MiniCPM-V项目在安卓手机的部署指南
gitblog_01122的博客
09-10 404
MiniCPM-V作为一款轻量级开源模型，其移动端部署能力为用户提供了便捷的使用体验。本文将详细介绍如何在安卓手机上成功部署和运行MiniCPM-V模型。 ## 部署前准备 在开始部署前，需要确保您的安卓设备满足以下基本要求： 1. 操作系统版本至少为Android 8.0或更高 2. 设备内存建议4GB以上 3. 存储空间至少预留2GB可用空间 ## 部署步骤详解 ### 1. 获取模型...
vllm本地部署qwen3-4b
2401_85252837的博客
07-15 1444
本文详细介绍了在Ubuntu 24.04系统下使用NVIDIA RTX 3090显卡部署Qwen3-4B大语言模型的完整流程。主要内容包括：1) 创建Python 3.10虚拟环境并安装vLLM框架；2) 通过Hugging Face镜像下载Qwen3-4B模型；3) 配置参数优化显存使用（限制55%显存、最大序列长度2000）；4) 启动OpenAI兼容API服务（端口6009）；5) 测试模型推理功能。整个部署过程特别针对24GB显存的3090显卡进行了性能优化，确保模型稳定运行。
大模型推理01：vLLM部署Qwen3-4B
weixin_43495948的博客
10-12 598
本文介绍了如何使用vLLM部署Qwen大语言模型进行推理。首先创建Python环境并安装依赖包，通过HuggingFace下载Qwen3-4B模型。然后分别演示了使用transformers和vLLM进行推理的方法：transformers通过编写Python脚本实现本地推理；vLLM则可以直接部署为API服务，通过curl发送请求获取模型响应。文中还展示了模型在伦理问题上的严谨回答，明确拒绝了虚假身份的要求，坚持事实立场。整个过程涵盖了从环境配置到模型部署的完整流程，为开发者提供了大模型本地部署的实用参考
解决Qwen3-Reranker-4B模型无法通过Vllm平台直接部署的方法
邓草的博客
06-20 769
本项目旨在解决Qwen3-Reranker-4B模型无法通过Vllm平台直接部署的问题。自从Qwen3-Reranker系列模型发布以来，迅速在向量模型和重排模型中掀起了使用热潮，但遗憾的是，无法正常使用Vllm部署Qwen3-Reranker-4B模型，截止目前，Vllm官方也没有更新补丁支持，预计官方最快在Vllm v0.9.2中才支持Qwen3-Reranker。作为过渡，于是做了这个版本供大家暂时使用。
【modelscope+Qwen3-4B+Python 模型本地部署Demo】
chuangshijie的专栏
06-14 716
本文介绍了如何在本地部署Qwen3-4B大语言模型的使用Demo。首先提供了环境准备步骤，包括Python 3.x环境搭建、依赖包安装以及模型下载方法。主要演示了通过modelscope库加载本地模型的过程，包含自动设备分配、输入格式化、文本生成和解析等关键代码。文章还列出了项目依赖包的版本信息，并指出不同量化方式对GPU显存的需求差异（全精度8-10G，FP16量化4-5G，4-bit量化约2.5G）。为国内用户提供了软件和代码的备用下载渠道。
生成本地 微调 +强化学习 qwen3-4b 研究搭建流程步骤
bvip911的博客
06-19 1421
注意，Qwen 模型可能需要特定的加载方式，确保参考官方文档或模型仓库的说明。注意：由于 Qwen-3-4B 模型较大，可能需要使用更高效的微调方法，如 LoRA（Low-Rank Adaptation） 或 QLoRA，以减少显存占用和加速训练。Qwen 官方文档：https://github.com/QwenLM/Qwen 或 https://huggingface.co/Qwen（请根据实际情况查找）训练奖励模型：可以使用一个独立的模型作为奖励模型，或者微调 Qwen 模型作为奖励模型。
国产轻量模型部署指南：1B~3B小模型性能实测 × CPU部署 × 量化技巧全解析
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
03-29 2143
🎯 本章目标：帮助你彻底理清“我是谁？我该用哪个模型？该怎么部署？让你在千变万化的大模型生态中，选出最适合自己的小而美方案！
小模型的手部目标检测训练和部署
step by step
07-19 4847
利用目标检测算法实现手部检测的四种方法实操指南及相关代码，包含调用MideaPipe，使用yolo v3相关代码资源，使用yolo_fastestV2，使用TensorFlow API。
RAG与MCP技术对比分析：深入探讨两者差异与优势！
2401_84204207的博客
04-20 1793
通过增强生成结果的准确性和专业性通过协调 LLM 与外部工具/数据源的交互，支持复杂操作流程检索模块（如向量数据库）获取外部信息 → 生成模块（LLM）融合检索结果生成内容 [1] [9]定义标准协议规范 LLM 的输入输出上下文，实现多工具调用、动态数据路由和状态管理 [13] [21]依赖外部结构化/非结构化知识库（如文档、数据库）依赖预定义的工具集（API、函数）及上下文路由规则医疗问答（检索最新论文+患者病历生成诊断建议）[15] [34]
模型部署-什么是模型部署？
2401_85328934的博客
11-20 1894
0总结1 什么是模型部署？1 部署流程：2 为什么模型部署这么复杂？3 模型部署学习建议：2 详细介绍:1 模型转换2 模型优化3 模型压缩：剪枝：蒸馏稀疏化量化：4 模型推理与部署：TensorRTOpenVINO3 模型部署优化实例：参考。
零基础小白也能轻松驾驭！通义千问Qwen3本地部署保姆级教程
瓦罗兰特顶级C位的博客
08-08 3143
今天给大家带来一篇超详细的教程，教你如何在自己的电脑上部署最新的通义千问Qwen3大模型。不需要任何编程基础，按照步骤来，你也能拥有一个私人AI助手！
Qwen3小模型实测：从4B到30B，到底哪个能用MCP和Obsidian顺畅对话？
m0_65555479的博客
05-02 3224
本文实测 Qwen3 系列本地模型（4B/8B/14B）与 Obsidian-MCP 的知识库交互效果，发现小模型存在工具调用失效、响应幻觉及上下文限制等问题。4B 版本因量化丢失指令理解能力，8B版本虽能调用工具但存在内容偏差。14B+就能正常对话了，本地小模型可用性在逐步上升，但我距离流畅交互还差一块 16G 显卡的距离😀。
Qwen/Qwen3-4B 模型怎么离线下载
最新发布
10-30
<think>我们被要求提供Qwen/Qwen3-4B模型的离线下载方法。根据引用[2]和引用[4]，我们知道Qwen3-4B有两个版本：Instruct（指令版）和Thinking（思考版）。同时，引用[2]提到可以从Hugging Face上下载模型，但用户需要离线下载，所以我们需要提供一种方式让用户能够将模型文件完整下载到本地，以便离线使用。 由于模型托管在Hugging Face Hub上，我们可以使用以下几种方法进行离线下载： 1. 使用`git lfs`克隆整个仓库（需要安装Git LFS） 2. 使用Hugging Face提供的`huggingface_hub`库中的`snapshot_download`函数下载 3. 手动在Hugging Face网站上逐个下载文件（不推荐，因为文件多且大） 但由于用户要求离线下载，我们重点推荐前两种方法，并给出详细步骤。 注意：根据引用[2]，模型在Hugging Face上的仓库可能是由社区成员提供的（如hopephoto/qwen3-4b-thinking-2507_q8），但官方模型仓库应该是Qwen/Qwen3-4B。不过，目前Qwen3-4B的官方仓库在Hugging Face上可能没有直接提供，但我们可以通过通义千问官方提供的模型链接来下载。 实际上，通义千问的官方模型通常发布在Modelscope上。因此，我们也可以从Modelscope下载。 综合以上，我们提供两种途径的下载方法：Hugging Face Hub 和 Modelscope。 步骤： 一、从Hugging Face Hub下载（如果模型在Hugging Face上有官方或社区镜像） 1. 确认模型名称：官方模型名称通常是`Qwen/Qwen3-4B`，但根据引用[2]的例子，社区提供了量化版本，例如`hopephoto/qwen3-4b-thinking-2507_q8`。不过，我们首先应该尝试官方仓库。 2. 使用`huggingface_hub`库的`snapshot_download`函数（推荐，可以避免使用Git LFS的复杂性）： - 安装`huggingface_hub`库：`pip install huggingface_hub` - 使用以下Python代码下载： ```python from huggingface_hub import snapshot_download # 下载基础模型（非量化版本） snapshot_download(repo_id="Qwen/Qwen3-4B", local_dir="Qwen3-4B", local_dir_use_symlinks=False) # 如果下载指令微调版本 snapshot_download(repo_id="Qwen/Qwen3-4B-Instruct", local_dir="Qwen3-4B-Instruct", local_dir_use_symlinks=False) # 如果下载思考版本（根据引用[2]的命名，但官方可能没有直接提供Thinking版本，因此这里以Instruct为例） # 注意：引用[2]中提到的两个模型是社区提供的量化版本，官方基础模型可能只有基础版和Instruct版。 ``` 注意：由于模型较大，下载可能需要较长时间，并且需要足够的磁盘空间（约15-20GB）。 3. 使用Git LFS（需要提前安装Git LFS）： ```bash # 安装Git LFS（如果未安装） # 然后克隆仓库（使用LFS） git lfs install git clone https://huggingface.co/Qwen/Qwen3-4B # 进入目录并拉取LFS文件 cd Qwen3-4B git lfs pull ``` 二、从Modelscope下载（通义千问官方推荐） 1. 安装Modelscope库：`pip install modelscope` 2. 使用以下代码下载模型： ```python from modelscope import snapshot_download model_dir = snapshot_download(&#39;qwen/Qwen3-4B&#39;, revision=&#39;master&#39;) ``` 或者下载指令微调版本： ```python model_dir = snapshot_download(&#39;qwen/Qwen3-4B-Instruct&#39;, revision=&#39;master&#39;) ``` 三、离线下载后使用 下载完成后，模型文件保存在本地目录中。在使用时，可以通过指定本地路径来加载模型。 例如，使用Hugging Face Transformers加载： ```python from transformers import AutoTokenizer, AutoModelForCausalLM model_path = "path/to/Qwen3-4B" # 替换为实际路径 tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto") ``` 四、注意事项 1. 模型大小：Qwen3-4B的全精度模型大约需要8-10GB显存（根据引用[4]），磁盘空间需要约20GB（因为包含所有文件和缓存）。 2. 量化版本：如果希望使用量化版本以减少显存占用，可以下载社区提供的量化版本（如引用[2]中的hopephoto/qwen3-4b-thinking-2507_q8），但要注意量化版本可能损失精度。 3. 网络问题：如果下载过程中遇到网络问题，可以考虑使用代理或者借助国内镜像（如Modelscope通常在国内下载速度较快）。 五、相关问题 根据用户可能的后续问题，我们生成以下相关问题： 1. 如何验证下载的Qwen3-4B模型文件的完整性？ 2. 如何使用量化版本的Qwen3-4B模型？ 3. 在本地运行Qwen3-4B需要什么硬件条件？ 4. 如何将下载的Qwen3-4B模型部署到移动端（如iOS或Android）？ 注意：在引用中，引用[2]提到了在手机上部署小模型的方法，使用的是社区提供的量化版本，并使用了PocketPal AI这个App。如果用户有移动端部署需求，可以参考引用[2]的方法。 引用说明：我们在回答中参考了引用[2]提到的模型名称和移动端部署，引用[4]提到的显存需求，以及引用[5]提到的模型量化（虽然引用[5]是关于Qwen1.5的，但量化方法类似）。 </think>以下是获取 Qwen/Qwen3-4B 模型的完整离线下载方法，包含多种可靠途径： ### 方法一：通过 Hugging Face Hub 下载（推荐） ```bash # 安装下载工具 pip install huggingface_hub # 下载基础模型 (约15GB) huggingface-cli download Qwen/Qwen3-4B --local-dir qwen3-4b # 下载指令微调版本 (约15GB) huggingface-cli download Qwen/Qwen3-4B-Instruct --local-dir qwen3-4b-instruct # 下载思考版模型 (约15GB) huggingface-cli download hopephoto/qwen3-4b-thinking-2507_q8 --local-dir qwen3-4b-thinking ``` > **优点**：自动处理所有依赖文件和目录结构[^2][^4] ### 方法二：Git LFS 下载（需安装Git LFS） ```bash # 安装Git LFS git lfs install # 克隆模型仓库 git clone https://huggingface.co/Qwen/Qwen3-4B # 进入目录获取大文件 cd Qwen3-4B git lfs pull ``` ### 方法三：Modelscope 下载（国内加速） ```python from modelscope import snapshot_download # 下载基础模型 snapshot_download(&#39;qwen/Qwen3-4B&#39;) # 下载指令版本 snapshot_download(&#39;qwen/Qwen3-4B-Instruct&#39;) ``` > 国内用户推荐此方式，下载速度更快[^4] --- ### 离线使用验证 ```python from transformers import AutoTokenizer, AutoModelForCausalLM # 加载本地模型 model = AutoModelForCausalLM.from_pretrained( "本地路径/qwen3-4b", device_map="auto" ) tokenizer = AutoTokenizer.from_pretrained("本地路径/qwen3-4b") # 测试推理 inputs = tokenizer("北京的景点有", return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0])) ``` --- ### 磁盘空间要求 | 模型类型 | 磁盘空间 | 内存要求 | |---------------|----------|----------| | 原始模型 | ≈15GB | 8-10GB | | FP16量化版 | ≈8GB | 4-5GB | | 4-bit量化版 | ≈4GB | 2.5GB | [^4][^5] --- ### 量化模型下载（减少资源占用） ```bash # 下载4-bit量化版 (约4GB) huggingface-cli download hopephoto/qwen3-4b-instruct-2507_q8 --local-dir qwen3-4b-instruct-4bit ``` --- ### ⚠️ 注意事项 1. 首次使用需登录Hugging Face账号（免费注册） 2. LLaMA架构模型需要[申请访问权限](https://huggingface.co/Qwen/Qwen3-4B) 3. 完整下载包括： ``` config.json pytorch_model-*.bin tokenizer.json special_tokens_map.json generation_config.json ``` --- ### 相关问题 1. 如何解决 Qwen3-4B 下载时的权限认证问题？[^2] 2. 如何在移动端部署 Qwen3-4B 模型？[^2] 3. 量化版本和原始模型的性能差异有多大？[^5] 4. 如何验证下载的模型文件完整性？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值