deepseek、qwen等多种模型本地化部署

最新推荐文章于 2025-05-27 11:47:00 发布
最新推荐文章于 2025-05-27 11:47:00 发布
阅读量688 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python智能算法 文章标签： deepseek本地部署 ollama qwen
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30895747/article/details/145463629

想要在本地部署deepseek、qwen等模型其实很简单，快跟着小编一起部署吧

1 环境搭建

1.1下载安装环境

首先我们需要搭建一个环境ollama，下载地址如下 ：Ollama

点击Download

根据自己电脑的系统选择对应版本下载即可

1.2 安装环境（window为例）

可以直接点击安装包进行安装，或者 OllamaSetup.exe /DIR="d:\some\location" 指定安装路径进行安装

2、模型安装

2.1 安装步骤如下图

首先打开Models列表，选择要安装的模型，点击模型名称，在模型界面选择要安装的模型版本（

了解本专栏 订阅专栏 解锁全文
如何本地部署DeepSeek：从零实现AI模型私有化部署
Genio_Wang的博客
04-03 457
本地部署DeepSeek可兼顾数据隐私与定制化需求，个人用户推荐Ollama方案快速上手，开发者或企业可基于vLLM或分布式框架实现高性能推理。部署时需注意模型真实性（避免误用蒸馏版）与硬件适配性，进阶用户可探索多模态交互与自定义知识库功能。
deepseek本地部署+web图形化页面配置+对比其他ai模型
热门推荐
2202_75361164的博客
01-31 1万+
最近deepseek非常火，训练成本低，其预训练费用仅为OpenAI GPT-4o模型的不到十分之一，但是效果堪比OpenAI，使用深度思考，回答的问题很不错，啥都敢说可惜惨遭ddos，导致官网注册用户都注册不了了，无法正常提供服务，不过我们可以进行本地部署，离线就可以使用，无需联网，即可本地使用。当然服务器多的，也可以在服务器上部署，这样大家都能用了。deepseek获取网盘下载地址毕竟只是7b和8b量级的。
最强开源大模型？Qwen3 系列深度解析 + 本地部署指南！
CSDN_224022的博客
04-30 1130
Qwen3（通义千问3）是阿里云Qwen团队推出的新一代开源大语言模型系列，涵盖密集模型和混合专家（MoE）模型多个规模。本次发布共开源了 6 个密集模型和 2 个 MoE 模型，参数量从 6亿 到 2350亿 不等。其中密集模型包括约0.6B、1.7B、4B、8B、14B和32B参数版本，MoE模型包括总参数约30B（激活参数3B）和235B（激活参数22B）的两种。所有模型均采用Apache 2.0开源许可，开发者可自由下载使用。
阿里QwQ-32B本地部署方案（含安全设置）
xx_nm98的博客
03-13 2023
今日凌晨，阿里发布最新的推理模型QwQ-32B。这是一款拥有 320 亿参数的模型，其性能可与具备 6710 亿参数（其中 370 亿被激活）的 DeepSeek-R1 媲美。
Qwen3 本地部署指南：打造完全离线的AI助手
最新发布
python1222_的博客
05-27 1139
Qwen3 是阿里巴巴 Qwen 团队推出的最新开源大语言模型 (Large Language Model, LLM)，它提供了令人印象深刻的性能，同时具备高度模块化和强大的工具调用能力。本指南面向程序员读者，将详细介绍如何在本地机器上部署 Qwen3，无需依赖任何云服务或 API 密钥。
单显卡即可！深度解析QWQ-32B开源模型本地化部署
h1453586413的博客
03-08 5507
日前，阿里云通义千问官方宣布推出最新推理模型QWQ-32B。QWQ-32B 模型以其的“小巧”身材，实现了的卓越性能，这无疑是一个令人振奋的突破。其成功的关键，在于创新性地引入了策略。传统AI模型通常依赖于预训练和微调，这种模式在处理复杂推理任务时，往往显得力不从心。QWQ-32B 采用了独特的双阶段强化学习训练方法，模拟了人类从错误中学习、不断精进的过程。模型在初期训练中，接受基于明确结果的奖励信号，例如数学题的对错、代码的运行结果等。这使得模型能够快速掌握特定领域的专业技能。
低成本抗衡DeepSeek-R1！QwQ-32B本地部署教程：消费级硬件可部署
SJJS_1的博客
03-13 2392
QwQ-32B是阿里通义千问团队在3月6日发布的开源大模型，这款仅有320亿参数的模型，在数学、代码、通用能力等核心场景里，几乎跟满血版DeepSeek-R1（6710亿参数）不相上下。可以说实现了开源领域的降维打击。
【大模型技术解惑】DeepSeek‑V3与Qwen本地部署硬件推荐？
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
04-20 653
针对 DeepSeek‑V3 和 Qwen 系列模型的本地部署，核心瓶颈在于 GPU 的显存与计算能力，以及配套的多核 CPU、系统内存和高速存储。以下配置覆盖从个人开发、测试到企业级生产的各类场景需求。
Deepseek-R1大模型本地私有化部署配置调研
回到原点
02-21 1万+
deepseek本地私有化部署条件
DeepSeek-R1模型本地私有化部署及界面化操作教程
青及笄经验分享
02-06 950
deepseek-r1本地私有化部署，并安装对应图形化界面
本地部署教程来了，全新开源推理大模型QwQ-32B，性能比肩DeepSeek满血版
ai_tech_talk的博客
03-10 7351
本地跑 QwQ-32B，解锁企业级 AI 新姿势，隐私、成本双兼顾。
企业级最强开源大模型Qwen3震撼发布！本地部署+全面客观测评！
AAI666666的博客
05-05 726
今天凌晨阿里巴巴正式发布了Qwen3系列大语言模型，标志着阿里在开源AI领域迈出了重要一步。Qwen3不仅在多项权威基准测试中超越了OpenAI的o1和DeepSeek R1等国际主流开源模型，还在模型架构、推理能力、多语言支持等方面实现了全面升级。
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 3011
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
最强开源大模型？Qwen3 系列深度解析 + 本地部署指南！看到就是赚到！！
2401_85325557的博客
04-30 1234
Qwen3（通义千问3）是阿里云Qwen团队推出的新一代开源大语言模型系列，涵盖密集模型和混合专家（MoE）模型多个规模。本次发布共开源了 6 个密集模型和 2 个 MoE 模型，参数量从 6亿 到 2350亿 不等。其中密集模型包括约0.6B、1.7B、4B、8B、14B和32B参数版本，MoE模型包括总参数约30B（激活参数3B）和235B（激活参数22B）的两种。所有模型均采用Apache 2.0开源许可，开发者可自由下载使用。
可以说全站最简：0代码1分钟极简本地部署QwQ-32B教程
Mistyyyyyyy的博客
03-13 608
0代码1分钟本地部署qwq/deepseek教程
手把手教你本地部署QwQ-32B：轻松吊打DeepSeek-R1蒸馏版！
hunteritself的博客
03-07 6152
手把手教你本地部署QwQ-32B：轻松吊打DeepSeek-R1蒸馏版！
QWQ-32B 本地私有化部署，性能媲美DeepSeek-R1满血版
2401_84495872的博客
03-21 2034
QWQ-32B是阿里巴巴最新开源的一款新型推理模型，规模仅拥有320亿参数，但在多项基准测试中，性能几乎媲美，甚至某些测试中超越了。官方提供的评估对比图：从上图可以看出QwQ-32B表现出色，整体几乎超越，在和测试集上与几乎持平，在BFCL(函数调用)测试中，均超越。但其只有32B的参数量，在如此优秀效果的前提下又大幅降低了部署使用的成本。modelscope 地址：huggleface 地址：本次本地部署QWQ-32B推理优化框架采用vLLM，使用Open-WebUI。
重磅！QwQ-32B 本地部署全攻略：用 Ollama 一键运行，轻松上手！
2401_84204207的博客
03-11 2372
想象一下，你的 AI 无需联网，就能流畅地回答问题，甚至生成代码、优化工作流。无论是 隐私保护、离线可用、低成本运行，还是 稳定无延迟，本地大模型的优势已经让越来越多的技术人跃跃欲试。本教程学习如何在本地使用 Ollama 安装、设置和运行 QwQ-32B，并构建一个简单的 Gradio 应用程序。今天的主角 QwQ-32B，正是本地部署的明星选手！QwQ-32B 是 Qwen 的推理模型，它旨在在复杂问题解决和推理任务中表现出色。尽管只有 320 亿个参数，但该模型在性能上与拥有 6710 亿个参数的更大
阿里QwQ-32B：小模型大性能，本地部署的革命性突破
鸿蒙布道师
03-06 2863
QwQ-32B的发布，标志着AI模型从“大力出奇迹”向“精巧出智慧”的转变。通过强化学习和小参数优化，QwQ-32B不仅实现了高性能，还大幅降低了部署成本。这一突破性进展，将为AI技术的普及和应用带来深远影响。1,3,5,6。
deepseek qwen
02-09
### DeepSeek Qwen 使用指南和服务介绍 #### 环境准备与硬件要求 为了在本地环境中成功运行 `deepseek-r1-distill-qwen-1.5B` 模型，需满足一定的硬件条件。具体来说，推荐使用配备有高性能 GPU 的机器来加速模型推理过程[^1]。 #### 安装依赖库 确保安装必要的 Python 库以支持模型加载和推理操作。可以通过 pip 工具快速完成这些包的安装： ```bash pip install torch transformers accelerate ``` #### 加载预训练模型 利用 Hugging Face 提供的 Transformers 库可以方便地加载已发布的 DeepSeek Qwen 模型权重文件。下面是一段简单的代码片段用于实例化该语言模型对象： ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-r1-distill-qwen-1.5b") model = AutoModelForCausalLM.from_pretrained("deepseek-1.5b") ``` #### 构建API接口 对于希望集成到现有系统的开发者而言，构建 RESTful API 是一种常见做法。通过 FastAPI 或 Flask 等框架能够轻松实现这一目标。这里给出基于 FastAPI 创建简单 HTTP 接口的例子： ```python from fastapi import FastAPI from pydantic import BaseModel import uvicorn app = FastAPI() class InputText(BaseModel): text: str @app.post("/predict/") async def predict(input_text: InputText): inputs = tokenizer(input_text.text, return_tensors="pt") outputs = model.generate(**inputs) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return {"response": result} if __name__ == "__main__": uvicorn.run(app, host='0.0.0.0', port=8000) ``` #### 启动推理服务 除了直接调用外，还可以考虑采用更高效的服务端部署方式——比如借助 vLLM 来提供在线预测能力。只需一条命令即可启动相应的 Web 服务器[^3]: ```bash vllm serve --model deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雨轩智能

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值