DeepSeek 本地部署指南（基于 vLLM）

最新推荐文章于 2025-04-05 00:42:55 发布
最新推荐文章于 2025-04-05 00:42:55 发布
阅读量3k 收藏 13
点赞数 11
分类专栏： 算法学习笔记 文章标签： 人工智能 深度学习 面试 大模型 面试题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84033492/article/details/145927190
版权

本指南将详细介绍如何使用 vLLM 在本地部署 DeepSeek 语言模型。我们将以 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 模型为例，逐步指导你完成环境配置、模型下载、vLLM 安装及推理服务的启动与调用。

最近春招和实习已开启了。

不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。

最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。

喜欢本文记得收藏、关注、点赞。

技术交流

在这里插入图片描述

1. 安装 Python 环境

在开始之前，你需要确保已安装 Python 环境。

图片

  • 访问 Python 官网：https://www.python.org/

  • 选择安装包：根据你的操作系统（Windows、macOS 或 Linux）下载并安装 Python。

  • 推荐版本：建议安装 Python 3.8 或更高版本。

  • 验证安装：安装完成后，打开终端（macOS/Linux）或命令提示符（Windows），输入以下命令以检查 Python 和 pip 是否安装成功：

  python --version
  pip --version

如果正确显示版本号，则说明 Python 环境已配置完成。

2. 下载 DeepSeek 模型

接下来，我们需要下载 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 模型。

图片

  • 模型地址：https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B

  • 安装 ModelScope：ModelScope 是一个模型中心，用于下载和管理模型。运行以下命令安装 ModelScope：

  pip install modelscope
  • 下载模型：使用以下命令下载模型并保存到本地：
  modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --local_dir /path/to/save/model

将 /path/to/save/model 替换为你希望保存模型的本地路径。

  • 磁盘空间：确保磁盘空间充足，该模型至少需要 15GB 的存储空间。

  • 关于 ModelScope：ModelScope 是一个开源社区，提供多种预训练模型。虽然某些模型可能需要注册账号，但 DeepSeek-R1-Distill-Qwen-7B 是公开的，可直接下载。

    图片

3. 安装 vLLM

vLLM 是一个高效的大型语言模型推理库，支持快速部署。

图片

  • vLLM 简介：vLLM GitHub[1]

  • 官方文档：vLLM 文档[2]

推荐使用虚拟环境：为避免包冲突，建议在虚拟环境中安装 vLLM。

  • 创建虚拟环境：
python -m venv venv
  • 激活虚拟环境
# macOS/Linux：
source venv/bin/activate

# Windows：
venv\Scripts\activate
  • 安装 vLLM：
  pip install vllm

4. 启动 vLLM 推理服务

模型下载完成后，可以使用 vLLM 启动推理服务。

启动命令：

CUDA_VISIBLE_DEVICES=0 vllm serve /path/to/save/model --port 8102 --max-model-len 16384

参数说明：

  • CUDA_VISIBLE_DEVICES=0：指定使用的 GPU 设备 ID（0 表示第一块 GPU）。

  • /path/to/save/model：替换为模型的实际保存路径。

  • --port 8102：服务监听的端口号（可自定义）。

  • --max-model-len 16384：模型的最大上下文长度（可根据 GPU 显存调整）。

检查服务状态：启动后，终端会显示类似 INFO: Started server process 的信息。你也可以通过访问 http://localhost:8102/docs 查看 API 文档，验证服务是否正常运行。

GPU 显存：确保 GPU 显存充足。如果显存不足，可尝试减小 --max-model-len 的值。

5. 调用 vLLM 推理服务

服务启动后，可以通过代码调用 vLLM 提供的 API 进行推理。

Python 示例代码：

from openai import OpenAI

# 配置 OpenAI API 密钥和 Base URL 以连接 vLLM 服务
openai_api_key = "EMPTY"# vLLM 服务不需要 API 密钥，可以使用任意字符串
openai_api_base = "http://localhost:8102/v1"  # 确保端口号与启动服务时一致

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

prompt = "你好，介绍一下你自己吧"  # 输入问题
response = client.completions.create(
    model="deepseek-ai/DeepSeek-R1-Distill-Qwen-7B",  # 模型名称
    prompt=prompt,
    stream=False,  # 是否使用流式输出
)

print(response.choices[0].text)  # 输出模型回答

运行代码：将代码保存为 inference_example.py，然后在虚拟环境中运行：

python inference_example.py

注意事项：

  • 确保 openai_api_base 中的端口号与 vLLM 服务端口一致。

  • 如果遇到错误，请检查服务状态、模型名称及网络连接。

  • vLLM 服务是否已成功启动并正在运行。

  • openai_api_base 中的端口号是否与 vLLM 服务端口号一致。

  • model 参数指定的模型名称是否正确。

  • 网络连接是否正常。

  • 查看 vLLM 服务端的日志输出，可能会有更详细的错误信息。

总结

通过以上步骤，你已成功在本地部署了 DeepSeek 模型，并能够通过 vLLM 进行推理。如果在部署过程中遇到问题，请参考 vLLM 官方文档或在相关社区寻求帮助。祝你使用愉快！

参考资料

[1]

vLLM GitHub: https://github.com/vllm-project/vllm

[2]

vLLM 文档: https://docs.vllm.ai/en/latest/

DeepSeek掘金——vLLM和ollama综合对比
03-03 3394
本文比较vllm和ollama在不同场景中的表现。我们将重点关注：资源利用率和效率、部署和维护的简易性、具体用例和建议、安全和生产准备、文档。欢迎来到我们深入研究 LLM 推理框架的最后一部分！在第一部分和第二部分中，我们分别探讨了 Ollama 和 vLLM，了解了它们的架构、功能和基本性能特征。现在到了决定性的一轮：面对面的比较，以帮助您根据特定需求选择合适的框架。这次比较并不是要宣布绝对的赢家——而是要了解哪种框架在不同场景中表现出色。让我们深入研究数据，看看我们的测试揭示了什么！🚀。
Deepseek本地部署后怎么让他学习本地知识库
QvQ593520844的博客
03-06 553
将 DeepSeek 这类大模型与本地知识库结合，通常有两种主流技术路线：**检索增强生成（RAG）** 和 **领域微调（Fine-tuning）**。- 嵌入模型：BAAI/bge-large-zh-v1.5（中文）或 text-embedding-3-small（英文）"output": "量子计算基于量子比特...（来自知识库的内容）"**适用场景**：快速实现知识库问答，无需训练模型，适合动态更新知识库。"output": "1.项目背景...（知识库模板内容）"
基于vLLM部署企业级DeepSeek大模型
秃了也弱了
03-07 2583
Ollma框架适合个人用户私有化本地部署，但在多用户并发场景下性能衰减明显。vLLM 是由加州大学伯克利分校 LMSYS 组织开源的大语言模型（LLM）高速推理框架。它旨在显著提升实时场景下语言模型服务的吞吐量和内存使用效率。vLLM 的主要特点包括：1、PagedAttention 技术：vLLM 引入了 PagedAttention 算法，通过分页管理注意力机制中的键（keys）和值（values），有效解决了传统方法中显存碎片化和过度预留的问题。
DeepSeek本地部署教程：使用vLLM，轻松实现高效部署！
2401_84204207的博客
03-12 1937
vLLM (https://github.com/vllm-project/vllm) 是一个快速且易于使用的库，用于进行大型语言模型的推理和部署。
DeepSeek专栏3：vLLM×DeepSeek部署指南（鲲鹏+昇腾）
openEuler_的博客
02-22 2338
上期介绍了在鲲鹏 CPU+NVIDIA GPU上部署DeepSeek的流程，本期将会继续介绍在鲲鹏 CPU+昇腾 NPU上通过vLLM框架来部署DeepSeek。
使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B
xuebodx0923的博客
02-02 7488
是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。也正是因为如此，DeepSeek R1价格非常便宜，每100万个输出tokens 2.19美元，而 OpenAI o1 则需要60美元，DeepSeek R1便宜 96.4%，性能却不相上下，完全就是逆风翻盘。推出国产大模型DeepSeek-V3和DeepSeek-R1。由于硬件的限制，我们下面用vllm部署了一个最小的模型DeepSeek-R1-Distill-Qwen-1.5B。
DeepSeek 部署指南 (使用 vLLM 本地部署)
热门推荐
m0_48891301的博客
02-07 3万+
vLLM (https://github.com/vllm-project/vllm) 是一个快速且易于使用的库，用于进行大型语言模型的推理和部署。
Linux环境下使用vLLM部署本地大模型
剑飞的架构思维
02-07 5270
通过以上步骤，您可以在Linux环境下成功部署vLLM并运行大模型服务。在实际操作中，可能需要根据具体的vLLM版本和模型文件进行调整和优化。后续的步骤3和步骤4将依赖于该服务进行测试，因此请务必不要关闭此终端窗口。下载成功后，模型文件会保存在./model/qwen2_5-1_5b-instruct文件夹下。本课程实验环境需与微调章节保持一致，确保在GPU环境下执行模型部署操作。如果你希望在后台持续运行服务而不受终端窗口关闭的影响，可以使用这条命令。下载开源模型进行部署，暂不在此演示。
DeepSeek-基于vLLM部署
03-08 983
虽然vLLM比较复杂，但是他具有组成集群跑更大模型的能力，所以我这里先用单机版来让搭建对这个vLLM有一个的理解，后期再深入。
vLLM部署本地大模型进行在线调用
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
11-22 3910
vLLM部署本地大模型进行在线调用
deepseek本地部署及应用部署指南
weixin_39797121的博客
03-06 1528
如果你找到的日志是[send] via NET/IB/0，则表示网络通信是通过IB网络的，但是没有开启GDRDMA技术，则会有大致5%的性能损耗（网传，未实测）。新增的环境变量配置，主要用于启用IB网络通信，而非使用以太网进行通信，详细的每一个参数的具体含义，可以在英伟达NCCL的官方网站上找到说明。下一步，我会对已经完成部署的模型进行压测，来探索系统的性能极限在哪里，以及如何在生产环境中何如进行进一步的性能优化，期待你的关注。
DeepSeek R1本地部署与调用指南.zip
02-05
DeepSeek R1是一款先进的深度学习模型，其本地部署与调用指南为开发者提供了一系列详细的步骤说明，确保了模型能够在不同的环境下高效运行。DeepSeek R1模型组的基本情况介绍，有助于开发者了解模型的组成和特点，为...
【零基础】基于vLLM 搭建DeepSeek-R1-Distill-Qwen-7B【最简】
最新发布
caoyongsheng的博客
04-05 994
大模型落地应用离不开高效推理框架的支持，vLLM以其卓越的性能在众多框架中脱颖而出。本文将带你深入探索如何使用vLLM框架部署DeepSeek-R1-Distill-Qwen大语言模型。一、vLLM框架特性解析1、高效内存管理在大模型推理中，内存管理至关重要。vLLM独创的PagedAttention算法，如同为显存空间安排了一位智能管家。它借鉴操作系统虚拟内存管理机制，实现了KV缓存的动态分页管理。
【llm 使用vLLM部署本地大模型】
放飞自我的coder
12-25 3001
使用vLLM部署本地大模型 llm
【自然语言处理与大模型】vLLM部署本地大模型①
qq_39780701的博客
12-18 1679
本文记录我个人在使用vllm部署私有大模型的时候遇到的困难和详细部署过程。
DeepSeek本地部署流程：超级简单，配置要求很低
DEVELOPERAA的博客
02-25 1114
现如今的人工智能时代，如果程序员对于相关的AI技术还一无所知的话，那真的就OUT了。最近火出天际的大模型DeepSeek，当然值得我们花时间去学习了，不过服务器经常繁忙，所以，在本地部署一个就显得很有必要了，而且，作为码农，这样的好东西，怎么能不在自己的机器上折腾一下呢？在本地部署DeepSeek，只需要以下几步：一、下载并安装OllamaOllama‌是一个开源的、易于使用的本地大语言模型运行平台，它主要提供模型运行的支持，适用于需要快速部署和测试大语言模型的场景。
你知道deepseek本地部署吗
02-21
<think>好的，我现在需要回答用户关于DeepSeek本地部署的问题。首先，我得确认自己是否了解DeepSeek是什么。根据之前的对话，DeepSeek是一个专注实现AGI的中国公司，他们开源了DeepSeek-R1模型，并且可能涉及AI助手和搜索引擎技术。 用户想知道如何本地部署DeepSeek，所以我需要分步骤说明。可能需要先介绍本地部署的基本概念，然后具体到DeepSeek的步骤。需要确保信息准确，但可能因为DeepSeek的具体部署文档不明确，需要依赖常见的本地部署流程。 首先，本地部署通常需要下载模型、准备环境、安装依赖、运行模型。假设DeepSeek-R1是类似其他开源模型，比如LLaMA或Stable Diffusion，用户需要从GitHub或官网获取代码和模型权重。环境配置可能包括Python、PyTorch或TensorFlow，以及必要的库如Transformers。 然后，硬件要求是关键部分。大模型需要高性能GPU，显存要足够，比如至少16GB以上。用户可能需要NVIDIA显卡和CUDA支持。此外，存储空间也是一个考虑因素，模型文件可能很大，需要几十GB的空间。 接下来，步骤可能包括克隆仓库、安装依赖、下载模型、配置参数，最后运行示例代码或API。可能还需要处理许可证问题，确保遵守开源协议。 用户可能遇到的常见问题包括环境配置错误、依赖冲突、显存不足、模型加载失败等。需要建议查看日志、更新驱动、检查CUDA版本，或者调整批处理大小。 另外，可能还需要提到如何获取支持，比如GitHub Issues、论坛或官方文档。如果DeepSeek有特定的部署指南，最好直接引用，但假设没有的话，只能提供通用建议。 最后，总结本地部署的好处，如数据隐私、定制化，以及挑战，如硬件成本和技术门槛。确保用户了解可能的困难，并提供寻求帮助的途径。 需要注意避免错误信息，例如如果DeepSeek的模型不是开源的，或者部署方式不同，可能需要调整内容。但目前根据之前的信息，假设DeepSeek-R1是开源的，可以本地部署。需要确认这一点，但如果没有更多信息，只能基于常规情况回答。 可能还需要提到不同的模型版本，如7B、13B等，不同参数规模的模型对硬件的要求不同。例如，较小的模型可能在消费级GPU上运行，而更大的需要专业硬件。 最后，建议用户查阅官方文档获取最新和准确的部署指南，因为流程可能会更新，避免提供过时的信息。</think>DeepSeek（深度求索）是一家专注于实现AGI（通用人工智能）的中国公司，其开源了如**DeepSeek-R1**等模型。若你希望进行本地部署（即将模型部署在自己的服务器或设备上），通常需要以下步骤和注意事项： --- ### **1. 本地部署的核心条件** - **模型开源**：需确认目标模型（如DeepSeek-R1）是否已开源并提供下载。目前DeepSeek的部分模型已在GitHub等平台公开。 - **硬件要求**： - **GPU**：建议使用高性能显卡（如NVIDIA系列，显存≥16GB），以支持大模型推理。 - **内存与存储**：至少32GB内存，存储空间需足够存放模型文件（可能几十GB）。 - **软件环境**： - Python、PyTorch/TensorFlow、CUDA/cuDNN等深度学习框架及驱动。 - 依赖库：如Hugging Face Transformers、DeepSeek提供的特定工具包等。 --- ### **2. 一般部署流程** 1. **获取模型**： - 从GitHub或官方渠道下载模型权重（Checkpoints）及代码库。 - 示例：克隆仓库 `git clone https://github.com/deepseek-ai/deepseek-r1` 2. **配置环境**： - 创建Python虚拟环境，安装PyTorch等基础框架。 - 安装依赖：`pip install -r requirements.txt`（根据项目要求）。 3. **加载与运行模型**： - 使用Hugging Face接口或自定义脚本加载模型。 - 示例代码： ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-r1-xxb") tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-r1-xxb") inputs = tokenizer("你好，DeepSeek！", return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0])) ``` 4. **部署为服务**（可选）： - 使用FastAPI/Flask搭建API，或集成至现有系统。 --- ### **3. 常见问题与优化** - **显存不足**：可尝试量化（如FP16/INT8）、模型裁剪或使用推理优化库（如vLLM、DeepSpeed）。 - **速度慢**：启用CUDA加速、调整批处理大小（Batch Size）或使用TensorRT优化。 - **依赖冲突**：建议使用Docker容器化部署，隔离环境。 --- ### **4. 注意事项** - **许可证**：遵守模型的开源协议（如Apache 2.0、MIT），商用需确认合规性。 - **更新与支持**：关注官方GitHub的Issue和文档，及时获取修复和更新。 - **安全与隐私**：本地部署可避免数据外传，适合敏感场景，但需自行维护安全。 --- ### **5. 资源推荐** - **官方GitHub**：[deepseek-ai](https://github.com/deepseek-ai)（查看具体模型的部署指南） - **社区支持**：Hugging Face社区、知乎、技术论坛等。 如果需要更具体的指导，建议直接查阅目标模型的官方文档或联系DeepSeek团队获取支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值