手把手部署！win11系统把DeepSeek-R1蒸馏-Qwen-7B推理起来！vllm高吞吐，附模型下载

本文链接：https://blog.csdn.net/2401_85375298/article/details/145824286

人的专注力只有10分钟，今天内容非常简单：

① 推理环境与准备

② 全尺寸下载DeepSeek1.5B/7B/8B/14B/32B/72B等

③ 本地跑起来，兼容openai api格式推理

④ 将模型接入RAG-langchain中

第一部分：推理环境与准备

本次实践全程使用win11系统，具体环境与版本，是这样的：

操作系统：win11-wsl2

显卡：RTX3090*24G*2张

Python版本：3.10

依赖管理：conda

推理工具：vllm

cuda版本：12.4

pytorch版本：2.5.1

如果你还未搭建AI环境及wsl，请你到这里，先跟着操作，搭建好自己的AI环境，否则无法继续

搭建好的，直接跟着操作！

打开你的wsl！

如果你未用过，图标是这样的：

未安装？到开头的第一个链接安装！

创建conda环境！

我们统一使用conda来管理依赖，以免版本冲突，养成习惯，你应该每做一个项目，都是新的环境！

在刚刚你打开的这个窗口，输入指令，回车！

指定环境名称“ds”，指定Python版本3.10

conda create --name ds python=3.10

输入“y”，回车确认！

激活进入“ds”环境！

等待几秒后，激活当前的环境！

conda activate ds

激活后，前面会多一个环境名称，说明进入成功了！

安装pytorch！

我们cuda是12.4版本，现在，我们要安装对应的版本才行！

在环境中输入以下指令，回车安装！

conda install pytorch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 pytorch-cuda=12.4 -c pytorch -c nvidia

如果你的是其他版本的cuda，比如11.8/12.1，你可以到这里下载！

https://pytorch.org/get-started/previous-versions/

这里看网速了，网速越快，耗时越短！

安装vllm！

直接安装最新版本即可！兼容！

在同一个命令窗，输入以下指令，回车！

pip install vllm -i https://pypi.tuna.tsinghua.edu.cn/simple

这里，我们使用清华源下载，避免网络不畅，网速慢问题！

到这里，环境，全部搞掂！

如果你有任何报错，请你确认，是否进入了新的conda环境！

或在末尾联系工程师-小胖，获取帮助！

第二部分：全尺寸模型下载！

授人以鱼不如授人以渔

模型下载，你可以自己在hugging face或魔搭下载！

hugging face：https://huggingface.co/models

魔搭：https://www.modelscope.cn/organization/deepseek-ai

为方便下载，雄哥已经把所有下载链接，都传到了公众号

你回复：“ds”

即可获取到所有下载连接！

假设你已经拿到了所有下载连接，你可以根据自己算力，选择合适的参数，下载到本地！

比如我要下载7B的，下载连接就是这个：

git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git

还是在这个窗口，粘贴以上链接，回车！

会自动下载！

模型文件保存到当前文件夹！

第三部分：讲模型推理起来，暴露API供下游调用！

万事具备

还是在这个窗口！

输入以下指令，回车！推理！

vllm serve /root/model/DeepSeek-R1-Distill-Qwen-7B --served-model-name DeepSeek-R1-Distill-Qwen-7B --max-model-len 4096 --api-key token-abc123 --enable-auto-tool-choice --tool-call-parser hermes

出现这样，就说明推理成功了！

简单说一下参数吧！

–served-model-name DeepSeek-R1-Distill-Qwen-7B

API 中使用的模型名称。如果提供了多个名称，则服务器将响应提供的任何名称。响应的 model 字段中的模型名称将是此列表中的第一个名称。如果未指定，则模型名称将与参数相同。

–max-model-len 4096:

最大模型长度：指定模型能够处理的最大序列长度。在这里，最大长度设置为4096个词元（tokens），增加这个值可以让模型处理更长的文本，但同时也需要更多的计算资源和时间

–api-key token-abc123:

API密钥：用于身份验证的密钥，以确保只有授权用户能够访问模型服务。在这里，API密钥是“token-abc123”

–enable-auto-tool-choice

为支持的模型启用自动工具选择。用于指定要使用的解析器，–tool-call-parser

–tool-call-parser

根据您使用的模型选择工具调用解析器。这用于将模型生成的工具调用解析为 OpenAI API 格式，需要：–enable-auto-tool-choice

如果你想了解更多参数，可以到这里：

https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html！

第四部分：如何接入RAG-langchain中

因为上面，我们已经完全本地部署了

兼容openai api格式

理论上，你可以接到任何的应用中

现在演示如何接入langchain中！

from langchain_community.llms import VLLMOpenAI``   ``llm = VLLMOpenAI(`    `openai_api_key="token-abc123",`    `openai_api_base="http://localhost:8000/v1",`    `model_name="DeepSeek-R1-Distill-Qwen-7B",`    `model_kwargs={"stop": ["."]},``)``print(llm.invoke("1+1等于几？"))

就如此简单！