手把手部署！win11系统把DeepSeek-R1蒸馏-Qwen-7B推理起来！vllm高吞吐，附模型下载

最新推荐文章于 2025-04-05 00:42:55 发布
最新推荐文章于 2025-04-05 00:42:55 发布
阅读量1.4k 收藏 25
点赞数 23
文章标签： 深度学习 人工智能 机器学习 机器人 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59164520/article/details/145690249
版权

人的专注力只有10分钟，今天内容非常简单：

① 推理环境与准备

② 全尺寸下载DeepSeek1.5B/7B/8B/14B/32B/72B等

③ 本地跑起来，兼容openai api格式推理

④ 将模型接入RAG-langchain中

第一部分：推理环境与准备

本次实践全程使用win11系统，具体环境与版本，是这样的：

操作系统：win11-wsl2

显卡：RTX3090*24G*2张

Python版本：3.10

依赖管理：conda

推理工具：vllm

cuda版本：12.4

pytorch版本：2.5.1

如果你还未搭建AI环境及wsl，请你到这里，先跟着操作，搭建好自己的AI环境，否则无法继续

搭建好的，直接跟着操作！

打开你的wsl！

如果你未用过，图标是这样的：

未安装？到开头的第一个链接安装！

创建conda环境！

我们统一使用conda来管理依赖，以免版本冲突，养成习惯，你应该每做一个项目，都是新的环境！

在刚刚你打开的这个窗口，输入指令，回车！

指定环境名称“ds”，指定Python版本3.10

conda create --name ds python=3.10

输入“y”，回车确认！

激活进入“ds”环境！

等待几秒后，激活当前的环境！

conda activate ds

激活后，前面会多一个环境名称，说明进入成功了！

安装pytorch！

我们cuda是12.4版本，现在，我们要安装对应的版本才行！

在环境中输入以下指令，回车安装！

conda install pytorch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 pytorch-cuda=12.4 -c pytorch -c nvidia

如果你的是其他版本的cuda，比如11.8/12.1，你可以到这里下载！

https://pytorch.org/get-started/previous-versions/

这里看网速了，网速越快，耗时越短！

安装vllm！

直接安装最新版本即可！兼容！

在同一个命令窗，输入以下指令，回车！

pip install vllm -i https://pypi.tuna.tsinghua.edu.cn/simple

这里，我们使用清华源下载，避免网络不畅，网速慢问题！

到这里，环境，全部搞掂！

如果你有任何报错，请你确认，是否进入了新的conda环境！

或在末尾联系工程师-小胖，获取帮助！

第二部分：全尺寸模型下载！

授人以鱼不如授人以渔

模型下载，你可以自己在hugging face或魔搭下载！

hugging face：https://huggingface.co/models

魔搭：https://www.modelscope.cn/organization/deepseek-ai

为方便下载，雄哥已经把所有下载链接，都传到了公众号

你回复：“ds”

即可获取到所有下载连接！

假设你已经拿到了所有下载连接，你可以根据自己算力，选择合适的参数，下载到本地！

比如我要下载7B的，下载连接就是这个：

git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git

还是在这个窗口，粘贴以上链接，回车！

会自动下载！

模型文件保存到当前文件夹！

第三部分：讲模型推理起来，暴露API供下游调用！

万事具备

还是在这个窗口！

输入以下指令，回车！推理！

vllm serve /root/model/DeepSeek-R1-Distill-Qwen-7B --served-model-name DeepSeek-R1-Distill-Qwen-7B --max-model-len 4096 --api-key token-abc123 --enable-auto-tool-choice --tool-call-parser hermes

出现这样，就说明推理成功了！

简单说一下参数吧！

–served-model-name DeepSeek-R1-Distill-Qwen-7B

API 中使用的模型名称。如果提供了多个名称，则服务器将响应提供的任何名称。响应的 model 字段中的模型名称将是此列表中的第一个名称。如果未指定，则模型名称将与参数相同。

–max-model-len 4096:

最大模型长度：指定模型能够处理的最大序列长度。在这里，最大长度设置为4096个词元（tokens），增加这个值可以让模型处理更长的文本，但同时也需要更多的计算资源和时间

–api-key token-abc123:

API密钥：用于身份验证的密钥，以确保只有授权用户能够访问模型服务。在这里，API密钥是“token-abc123”

–enable-auto-tool-choice

为支持的模型启用自动工具选择。用于指定要使用的解析器，–tool-call-parser

–tool-call-parser

根据您使用的模型选择工具调用解析器。这用于将模型生成的工具调用解析为 OpenAI API 格式，需要：–enable-auto-tool-choice

如果你想了解更多参数，可以到这里：

https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html！

第四部分：如何接入RAG-langchain中

因为上面，我们已经完全本地部署了

兼容openai api格式

理论上，你可以接到任何的应用中

现在演示如何接入langchain中！

from langchain_community.llms import VLLMOpenAI``   ``llm = VLLMOpenAI(`    `openai_api_key="token-abc123",`    `openai_api_base="http://localhost:8000/v1",`    `model_name="DeepSeek-R1-Distill-Qwen-7B",`    `model_kwargs={"stop": ["."]},``)``print(llm.invoke("1+1等于几？"))

就如此简单！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

DeepSeek-R1-Distill-Qwen-7B-Int8-W8A16 量化高精校准
AI天才研究院
02-05 2143
DeepSeek-R1-Distill-Qwen-7B-Int8-W8A16 是一个基于的 Int8 量化的模型。Qwen2.5Int8后训练：在基础模型上进行大规模强化学习我们直接在基础模型上应用强化学习（RL），而不依赖于监督微调（SFT）作为前置步骤。这种方法使模型能够探索用于解决复杂问题的思维链（Chain-of-Thought, CoT），从而开发出 DeepSeek-R1-Zero。
开源模型应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加速的正确姿势（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
02-02 1万+
DeepSeek-R1-Distill-Qwen-7B模型通过蒸馏技术成功提炼Qwen-7B核心知识，旨在满足小型模型需求，并在全面测试中优化性能和拓展应用边界。
DeepSeek-R1蒸馏模型——DeepSeek-R1-Distill-Qwen-7B本地部署教程：从大模型到轻量化的高效路径
SJJS_1的博客
02-08 4492
昨天小编已经为大家分享了DeepSeek-VL2的部署教程。今天将为大家带来DeepSeek-R1蒸馏模型——DeepSeek-R1-Distill-Qwen-7B。可能有小伙伴不是很清楚，什么是蒸馏模型？机器学习（ML）中的模型蒸馏是一种将知识从大型复杂模型转移到小型简单模型的技术。目标是创建一个较小的模型，保留较大模型的大部分性能，同时在计算资源、内存使用和推理速度方面更高效、部署更容易。这对于在资源受限的环境中部署模型特别有用。DeepSeek-R1-Distill-Qwen-7B的性能如何呢。
DeepSeek-R1-Distill-Qwen-7B本地部署方案指南
鸡蛋番茄炒饭的博客
02-08 2593
本地部署DeepSeek-R1-Distill-Qwen-7B
绝密！手把手教你部署NSFW(无内容审查)的大模型
白帽阿叁的博客
09-27 1万+
大家好，我是程序员晓晓。众所周知，目前大模型大都会有内容审核检查机制。比如我们让Kimi翻译下面的语句，就会触发其审查机制。而这个审查机制是非常有必要的，防止恶意用户通过prompt操纵大模型执行不当行为。内容审查可以帮助识别并过滤潜在的危险行为，确保大模型按照既定的安全策略和道德标准进行工作。也因为内容审核检查机制的存在，想要实现瑟瑟这些内容是不可能的。不过嘛，我们可以通过本地部署无内容审查的大模型体验这些内容。到此，引出今天的主角。
DeepSeek-R1-Distill-Qwen-7B智能模型分析
在经历了无数个黑夜之后，我决定自己成为太阳
03-14 948
DeepSeek-R1-Distill-Qwen-7B智能模型分析
Win11系统本地部署DeepSeek-R1-Distill-Qwen-7B
brucexia的专栏
03-06 420
点击主界面左下方的“设置”，会弹出的“设置”窗口，在“模型”选项卡中选择模型类型，这里根据我们安装模型的提供方选择“OLLAMA API”，Chatbox能检测到通过OLLAMA 运行起来的模型，选择你要对话的模型，比如“deepseek-1:1.5b”，点击“保存”按钮保存设置。（5）DeepSeek-R1-Distill-Qwen-1.5B模型下载成功后，这个模型就直接在本地系统上运行起来了，接下来我们就可以跟模型交互，下图是问模型“你是谁”的结果。比如，问模型“北京旅游线路”，结果如下。
DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本，2025.2.6最新版的安装包OllamaSetup.exe
02-07
由于DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本可能涉及复杂的计算和数据处理工作，其安装和部署可能需要在具备一定计算资源的环境下进行，例如配备高性能GPU的工作站或服务器。在安装过程中，用户...
开源模型应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加速的正确姿势（三）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
03-03 2万+
使用 vLLM 清晰呈现推理过程
【零基础】基于vLLM 搭建DeepSeek-R1-Distill-Qwen-7B【最简】
最新发布
caoyongsheng的博客
04-05 1005
大模型落地应用离不开高效推理框架的支持，vLLM以其卓越的性能在众多框架中脱颖而出。本文将带你深入探索如何使用vLLM框架部署DeepSeek-R1-Distill-Qwen大语言模型。一、vLLM框架特性解析1、高效内存管理在大模型推理中，内存管理至关重要。vLLM独创的PagedAttention算法，如同为显存空间安排了一位智能管家。它借鉴操作系统虚拟内存管理机制，实现了KV缓存的动态分页管理。
在Win11上部署大模型推理加速工具vLLM
培根芝士的专栏
04-08 1万+
vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法PagedAttention，有效地管理注意力键和值。在吞吐量方面，vLLM的性能比HuggingFace Transformers(HF)高出 24 倍，文本生成推理（TGI）高出3.5倍。
【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：Web聊天机器人部署指南
寻道AI，探索AI无限可能！
03-19 2933
随着人工智能技术的飞速发展，大语言模型已成为推动智能化应用的关键力量。DeepSeek-R1-Distill-Qwen-7B 作为一款高性能的蒸馏模型，不仅继承了大模型的强大推理能力，还通过优化大幅降低了部署成本。本文将手把手教你如何基于该模型搭建一个支持 128K 上下文、可视化思考过程的 Streamlit 聊天机器人，为用户提供智能且交互性强的体验。无论你是 AI 初学者还是技术爱好者，都能通过本文的详细指导轻松上手！
2025 最新 DeepSeek-R1-Distill-Qwen-7B vLLM 部署全攻略：从环境搭建到性能测试(V100-32GB)
MnivL的博客
02-06 3891
本文详细介绍了在 2025 年进行 DeepSeek-R1-Distill-Qwen-7B 模型基于 vLLM 的部署过程。从环境准备开始，包括硬件与软件环境要求，如特定的操作系统、GPU 型号、Python 版本、CUDA 及 PyTorch 版本等，指导读者完成基础环境搭建。接着深入依赖安装环节，细致讲解了使用 conda 创建虚拟环境、pip 换源加速下载依赖包以及安装 CUDA 和 PyTorch 的要点，并提供检查安装是否成功的方法。
V100 上用 ms-swift 框架部署 DeepSeek-R1-Distill-Qwen-7B 超全攻略
MnivL的博客
02-06 2148
本文详细介绍如何运用 ms - swift 框架在 V100 设备上部署 DeepSeek - R1 - Distill - Qwen - 7B 模型。开篇明确所需环境，如 x86_64 架构、ubuntu 22.04 或 centos 7 系统、V100 GPU 等。接着依次阐述依赖安装、模型下载步骤，还展示推理测试、部署测试及并发测试过程。
使用vLLM在3090上部署DeepSeek-R1-Distill-Qwen-7B R1 推理服务
Robin
02-21 470
出现：RuntimeError: CUDA error: out of memory,把--gpu-memory-utilization=0.80改小点。这里可用清华的源，也可以用北京外国语大学的pip源，我用的内部的。4. 创建python 干净的虚拟环境。1. 在机器上拉取Docker 镜像。最好安装虚拟环境，免得依赖处理麻烦。2. 启动docker 镜像。
【LLM】DeepSeek-R1-Distill-Qwen-7B部署和open webui
发现问题，并解决问题，批判性思维
01-30 8130
# note - DeepSeek-R1-Distill-Qwen-7B 的测试效果很惊艳，CoT 过程可圈可点，25 年应该值得探索更多端侧的硬件机会。 @[toc] # 一、下载 Ollama 访问 Ollama 的官方网站 https://ollama.com/library/deepseek-r1， 根据系统提示下载适合自己电脑的版本。 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/c615a1c7e6574f6b95222003c60865df
DeepSeek-R1-Distill-Qwen-7B和DeepSeek-R1-Distill-Qwen-14b哪个好
02-07
### 比较 DeepSeek-R1-Distill-Qwen-7B 与 DeepSeek-R1-Distill-Qwen-14B 性能和功能 #### 基准性能对比 在评估 DeepSeek-R1 系列模型的不同版本时，基准测试结果显示较大的模型通常具有更好的表现。对于 DeepSeek-R1-Distill-Qwen-7B 和 DeepSeek-R1-Distill-Qwen-14B 来说，后者由于参数量更大，在处理复杂任务方面可能展现出更高的准确性[^1]。 #### 参数规模影响 DeepSeek-R1-Distill-Qwen-14B 的参数数量几乎是 DeepSeek-R1-Distill-Qwen-7B 的两倍。这种差异意味着更大的模型可以捕捉更多细微的语言特征，并且在自然语言理解任务上可能会有更好的泛化能力[^2]。 #### 训练方法的影响 从 DeepSeek-R1-Zero 到 DeepSeek-R1 的演变表明，结合监督学习和强化学习的方法能够显著提升模型的能力。因此，即使是在蒸馏后的 Qwen 版本中，较大规模的 DeepSeek-R1-Distill-Qwen-14B 可能在实际应用中表现出更强的功能性和适应性[^3]。 ```python import matplotlib.pyplot as plt # 示例数据用于展示两种模型的表现差异 model_sizes = ['Qwen-7B', 'Qwen-14B'] performance_scores = [85, 90] plt.bar(model_sizes, performance_scores, color=['blue', 'green']) plt.xlabel('Model Size') plt.ylabel('Performance Score (%)') plt.title('Comparison of Performance between Different Sizes of DeepSeek Models') plt.show() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值