vLLM完全开发指南：从原理到实践的高性能LLM服务部署

vLLM vs Ollama：对比分析

在LLM推理引擎的选择上，vLLM和Ollama是两个常见的选项。对比如下：

对比维度	Ollama	vLLM	备注
量化与压缩策略	默认采用4-bit/8-bit量化，显存占用降至25%-50%	默认使用FP16/BF16精度，保留完整参数精度	Ollama牺牲精度换显存，vLLM牺牲显存换计算效率
优化目标	轻量化和本地部署，动态加载模型分块，按需使用显存	高吞吐量、低延迟，预加载完整模型到显存，支持高并发	Ollama适合单任务，vLLM适合批量推理
显存管理机制	分块加载+动态缓存，仅保留必要参数和激活值	PagedAttention+全量预加载，保留完整参数和中间激活值	vLLM显存占用为Ollama的2-5倍
硬件适配	针对消费级GPU（如RTX 3060）优化，显存需求低	依赖专业级GPU（如A100/H100），需多卡并行或分布式部署	Ollama可在24GB显存运行32B模型，vLLM需至少64GB
性能与资源平衡	显存占用低，但推理速度较慢（适合轻量级应用）	显存占用高，但吞吐量高（适合企业级服务）	量化后Ollama速度可提升，但仍低于vLLM
适用场景	个人开发、本地测试、轻量级应用	企业级API服务、高并发推理、大规模部署	根据显存和性能需求选择框架
总结	适合个人开发和轻量级应用	适合企业级服务和高并发场景

---

DeepSeek-R1-Distill-Qwen-32B模型对比

DeepSeek-R1-Distill-Qwen-32B模型在Ollama和vLLM框架下的显存占用、存储需求及性能对比

指标	Ollama (4-bit)	vLLM (FP16)	说明
显存占用	19-24 GB	64-96 GB	Ollama 采用 4-bit 量化，大幅压缩参数显存占用；vLLM 需保留完整 FP16 参数及激活值，显存需求较高。
存储空间	20 GB	64 GB	Ollama 存储量化后的模型，体积更小；vLLM 存储原始 FP16 精度模型，存储需求更大。
推理速度	较低（5-15 tokens/s）	中高（30-60 tokens/s）	Ollama 由于量化导致计算效率降低，推理速度较慢；vLLM 通过批处理和并行优化显著提升吞吐量。
硬件门槛	高端消费级 GPU（≥24GB）	多卡专业级 GPU（如 2×A100 80GB）	Ollama 可在单张高端消费级 GPU 上勉强运行；vLLM 需要多卡并行或分布式部署，依赖专业级 GPU 以发挥最佳性能。

---

安装与使用：

1. 下载DeepSeek模型

   pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
   

2. 创建模型存放目录

   mkdir -p /data/deepseek-ai/models/deepseek-70b
   

3. 下载DeepSeek-R1-Distill-Llama-70B模型

   modelscope download --local_dir /data/deepseek-ai/models/deepseek-70b --model deepseek-ai/DeepSeek-R1-Distill-Llama-70B
   

---

docker部署

下载 Docker 二进制包

Docker 官方网站下载二进制包文件

wget https://download.docker.com/linux/static/stable/x86_64/docker-26.1.4.tgz

解压 Docker 压缩包

tar -zxvf docker-26.1.4.tgz

移动二进制文件到系统目录

mv docker/* /usr/bin/

创建 Docker 用户和组

1. 创建 Docker 组

   groupadd docker
   

2. 创建 Docker 用户，并将其添加到 Docker 组

   useradd -s /sbin/nologin -M -g docker docker
   

配置 Docker 服务

创建并配置 docker.service 文件

1. 打开或创建 docker.service 文件

   vim /usr/lib/systemd/system/docker.service
   

2. 添加以下内容：

   [Unit]
   Description=Docker Application Container Engine
   Documentation=https://docs.docker.com
   After=network-online.target firewalld.service
   Wants=network-online.target
   
   [Service]
   Type=notify
   ExecStart=/usr/bin/dockerd
   ExecReload=/bin/kill -s HUP $MAINPID
   LimitNOFILE=infinity
   LimitNPROC=infinity
   TimeoutStartSec=0
   Delegate=yes
   KillMode=process
   Restart=on-failure
   StartLimitBurst=3
   StartLimitInterval=60s
   
   [Install]
   WantedBy=multi-user.target
   

配置国内 Docker 镜像加速

1. 创建 Docker 配置目录：

   mkdir -p /etc/docker
   

2. 打开或创建 daemon.json 文件：

   vim /etc/docker/daemon.json
   

3. 添加以下内容：

   {
   "registry-mirrors": ["https://docker.rainbond.cc"]
   }
   

启动 Docker 服务

1. 启动 Docker 服务

   systemctl start docker
   

2. 设置 Docker 服务开机启动

   systemctl enable docker
   

验证 Docker 安装

1. 查看 Docker 版本

   docker -v

vLLM容器化部署指南

环境准备

1. 更新软件包列表并安装NVIDIA容器工具包

   sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
   

2. 配置NVIDIA容器运行时

   sudo nvidia-ctk runtime configure --runtime=docker
   

3. 重加载系统服务并重启Docker

   sudo systemctl daemon-reload
   sudo systemctl restart docker
   

4. 下载vllm/vllm-openai容器

   docker pull vllm/vllm-openai
   

5. 查看vllm/vllm-openai容器

   docker images

启动vLLM容器

docker run -itd --restart=always --name vllm_ds70 \
-v /data/deepseek-ai:/data \
-p 18005:8000 \
--gpus all \
--ipc=host \
vllm/vllm-openai:latest \
--dtype bfloat16 \
--served-model-name DeepSeek-R1-Distill-Llama-70B \
--model "/data/models/deepseek-70b" \
--gpu-memory-utilization 0.9 \
--tensor-parallel-size 8 \
--max-model-len 30000 \
--api-key token-abc123

参数解释：

curl http://192.168.1.34:18005/v1/completions \-H "Content-Type: application/json" \-H "Authorization: Bearer token-abc123" \-d '{"model": "DeepSeek-R1-Distill-Llama-70B","prompt": "北京的著名景点有哪些","max_tokens": 1000,"temperature": 0.3}'

• --restart=always

  ：容器退出后自动重启，除非显式停止或dockerd服务重启。

• --name vllm_ds70

  为容器指定一个名称，便于后续管理和操作。

• -v /data/deepseek-ai:/data

  将主机上的/data/deepseek-ai目录挂载到容器的/data目录，用于存储模型文件和数据。

• -p 18005:8000

  将容器的8000端口映射到主机的18005端口，用于通过主机端口访问容器内的服务。

• -itd

  命令选项组合，-i和-t、-d，保持容器在后台运行，同时允许用户通过Docker logs或attach命令查看输出。

• --gpus all

  ：允许容器使用宿主机的所有GPU资源。

• --dtype bfloat16

• --dtype {auto,half,float16,bfloat16,float,float32}

  ：指定数据类型，优化内存使用和计算效率。auto模式会根据模型类型自动选择精度，而half或float16则常用于半精度计算以节省显存。

• --tensor-parallel-size 8

  ：设置张量并行的大小，通过将模型分割到多个GPU上进行并行计算，提升模型推理的速度和效率。

• --ipc=host

  ：配置容器的IPC（Inter-Process Communication）模式，允许容器与宿主机或其他容器共享共享内存，提升模型并行性能。

• --served-model-name DeepSeek-R1-Distill-Llama-70B

  ：指定服务的模型名称，标识当前服务的模型，便于管理和路由

• --model "/data/models/deepseek-70b"

  指定模型文件的路径，告诉服务从哪里加载模型权重和配置文件，确保模型能够正确加载。

• --gpu-memory-utilization 0.95

  设置GPU内存使用率，限制模型使用的GPU内存占比，避免因内存不足导致服务崩溃。

• --tensor-parallel-size 8

  设置张量并行的大小，通过将模型分割到多个GPU上进行并行计算，提升模型推理的速度和效率。

• --max-model-len 30000

  设置模型的最大上下文长度，限制模型在一次推理中能处理的最大输入长度，避免因过长输入导致性能问题。

• --api-key token-abc123

  指定API密钥，用于身份验证和授权，确保只有有权限的用户才能访问服务。                        

• 查看vLLM容器日志

• docker logs -f b05b9c3646ec
  

  访问vLLM容器

  docker exec -it b05b9c3646ec /bin/bash
  

  vLLM API 调用测试

稳定、高效云租赁平台：星海智算

注册即送50元券 链接我放下面了

星海智算-GPU算力云平台https://gpu.spacehpc.com/user/register?inviteCode=29460209