vLLM&cuda安装笔记

已于 2024-11-09 14:11:15 修改
阅读量1.5w 收藏 86
点赞数 47
分类专栏： 知识笔记 深度学习 文章标签： 人工智能 深度学习 python
于 2024-08-03 16:22:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaojia1001/article/details/140877932
版权

1. 引言

最近在部署Qwen模型时，文档上有提到强烈建议用vLLM来部署模型，按照公开的性能测试数据，用vLLM部署Qwen模型的文本推理速度要比transformers部署快3~4倍。带着这个好奇就开始安装尝试，但试下来这个安装过程并没有那么顺利，便有了此文来记录整个环境搭建的过程。

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，利用了全新的注意力算法「PagedAttention」，有效地管理Attention中的K和V。在吞吐量方面，vLLM的性能比HuggingFace Transformers(HF)高出 24 倍，文本生成推理（TGI）高出3.5倍。

2. vLLM环境要求

vLLM的安装指导说明上对python和cuda有着明确的版本要求，如下面截图所示：

vLLM安装指导地址：https://docs.vllm.ai/en/latest/getting_started/installation.html

在这里插入图片描述
首先是python，由于前面在不知情的情况下，已经安装了最新的python3.12版本，那就只能新创建一个3.10的虚拟环境。

conda及虚拟环境的创建请参考：conda环境搭建笔记

其次是cuda，vLLM是拿12.1版本编译的，但本地机器装的cuda为12.0，尝试过向下兼容的方式后无果，最终选择按照官方建议的cuda-12.1来重新安装，这意味着不仅仅是vLLM，机器上已经安装的pytorch、cuda都需要重新安装。

安装说明上有提供cuda-11.8的版本，正好之前pytorch安装时选择的也是cuda-11.8，所以尝试过取巧直接安装11.8，但最终没有成功，报一些cuda.C的一些.so动态库找不到（具体信息未能保留下来），就放弃了。
在这里插入图片描述

由于cuda是pytorch和vLLM的基础依赖，首先需要重装cuda。

3. CUDA安装

3.1 下载安装包

下载网址：https://developer.nvidia.com/cuda-toolkit-archive

首先选择自己要安装的版本（12.1）：
在这里插入图片描述
逐个勾选自己的环境信息，勾选完后下面会自动出现与所选环境匹配的安装指令：
在这里插入图片描述
在这里插入图片描述
先复制上面的wget指令，下载文件（文件有4G，需要下一段时间）。
在这里插入图片描述

3.2 安装

下载完后执行如下命令开始安装。

sudo sh cuda_12.1.0_530.30.02_linux.run

安装程序正式开始复制文件之前，可能会有两个小插曲（具体与本地环境有关）：旧环境兼容性检测和GPU是否在使用的检查。

3.2.1 旧环境兼容性检测

刚启动安装时会执行对本地旧环境的兼容性检测，如果发现本地机器的nvidia驱动与要安装的cuda版本不一致，安装程序会强烈建议你将已经存在的nvidia驱动卸载（命令如下面所示）。

apt-get remove --purge nvidia-driver-530
apt-get autoremove

需要注意的是此命令的用途，它会将机器上已经存在的nvidia驱动删除，个人猜测目的可能是为了保持cuda与的nvidia驱动的版本一致。

这里尝试过不卸载，但没有成功，cuda与nvidia版本不一致可能会导致驱动无法工作，运行nvidia-smi命令报如下截图中错误，最后还是乖乖按照指示进行了删除操作。
在这里插入图片描述

3.2.2 GPU是否在使用的检查

安装程序会检测GPU是否在使用中，如果在使用中，会提示退出所有GPU之后才能继续安装。

如果此时nvidia-smi命令可用，可以从命令输出结果中看到哪个进程在使用GPU:
在这里插入图片描述
查到被占用的GPU序号（上面截图中是0），则可以用如下命令来释放GPU:

sudo nvidia-smi --gpu-reset -i 0

GPU 00000000:3E:00.0 was successfully reset.
All done.

上面的方法是基于nvidia-smi存在的情况下，但是如果前面已经卸载了nvidia驱动程序（nvidia-smi命令也会被删除），那用什么方法查看GPU的状态呢？

用fuser命令能够列出哪些进程在使用GPU，然后使用kill命令将这些进程结束就行。

# 查找所有使用GPU的进程
sudo fuser -v /dev/nvidia*
sudo kill -9 <PID>

在这里插入图片描述

3.2.3 主流程安装

之后会提示你去勾选要安装的功能清单，用默认就好。
在这里插入图片描述
安装过程中，如果前面卸载了nvidia驱动程序，此时会自动安装与cuda版本配套的nvidia驱动程序，而cuda则会被安装到/usr/local/cuda-12.1目录下，安装完后的磁盘位置如下图所示：
在这里插入图片描述

3.3 配置环境变量

将cuda的库和命令添加到环境变量中。

echo 'export PATH=/usr/local/cuda-12.1/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

验证cuda安装结果：

nvcc --version

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Tue_Feb__7_19:32:13_PST_2023
Cuda compilation tools, release 12.1, V12.1.66
Build cuda_12.1.r12.1/compiler.32415258_0

验证nvidia驱动程序安装结果：

可以看到，这里显示的cuda version和上面nvcc命令显示的版本是一致的。

在这里插入图片描述

4. 重装pytorch

之前pytorch是基于cuda-11.8安装的，当上面cuda版本变更后，需要重新选择能适配cuda-12.1的pytorch版本重新安装。

注：pytorch一定要先于vllm来安装，因为vllm安装时会检测本地机器的cuda和pytorch是否满足版本要求，如果没有匹配的依赖，vllm是无法安装的。

在这里插入图片描述
具体过程这里就不细列，详情见： conda&pytorch环境搭建笔记

5. vllm

5.1 安装vllm

前面的cuda和pytorch都使用官方建议的版本后，安装vllm的命令就和正常库的安装命令一样，但是由于下载的软件包很多，这个过程也会比较长。

pip install vllm

安装完成后如下图所示：
在这里插入图片描述
验证vllm的安装结果:

!pip show vllm

WARNING: Ignoring invalid distribution -orch (/data2/anaconda3/envs/python3_10/lib/python3.10/site-packages)
Name: vllm
Version: 0.5.3.post1
Summary: A high-throughput and memory-efficient inference and serving engine for LLMs
Home-page: https://github.com/vllm-project/vllm
Author: vLLM Team
Author-email: 
License: Apache 2.0
Location: /data2/anaconda3/envs/python3_10/lib/python3.10/site-packages
Requires: aiohttp, cmake, fastapi, filelock, lm-format-enforcer, ninja, numpy, nvidia-ml-py, openai, outlines, pillow, prometheus-client, prometheus-fastapi-instrumentator, psutil, py-cpuinfo, pydantic, pyzmq, ray, requests, sentencepiece, tiktoken, tokenizers, torch, torchvision, tqdm, transformers, typing-extensions, uvicorn, vllm-flash-attn, xformers
Required-by:
5.2 验证vllm功能

在jupyter里贴一段加载模型的代码，尝试将本地下载好的模型Load进来：

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

model_dir = "/data2/anti_fraud/models/modelscope/hub/Qwen/Qwen2-0___5B-Instruct"
# Initialize the tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_dir)

# max_tokens is for the maximum length for generation.
sampling_params = SamplingParams(temperature=0.7, top_p=0.8, repetition_penalty=1.05, max_tokens=512)

# Input the model name or path. Can be GPTQ or AWQ models.
llm = LLM(model=model_dir)

在这里插入图片描述
再贴一段代码来测试模型是否能正常推理：

# Prepare your prompts
prompt = "Tell me something about large language models."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

# generate outputs
outputs = llm.generate([text], sampling_params)

# Print the outputs.
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

生成的文本如下：
在这里插入图片描述

参考资料：

人工智能_大模型077_AI产品部署和交付07_大模型开发架构设计_本地运行chatglm3_基于VLLM安装以及部署开源大模型_在VLLM中部署YI-6B-Chat---人工智能工作笔记0212
添柴程序猿的专栏
05-24 236
人工智能_大模型077_AI产品部署和交付07_大模型开发架构设计_本地运行chatglm3_基于VLLM安装以及部署开源大模型_在VLLM中部署YI-6B-Chat---人工智能工作笔记0212
通义Qwen实战(2): vllm框架部署实战
最新发布
@bangbang的博客
03-27 163
通义千问推荐我们使用vllm推理框架，这是国外开源的针对大模型的推理框架。它区别于直接使用huggingface 或者modescope 调用大模型的代码，使用vllm推理时它的速度会更快，并且显存的时候会下降。它会对模型进行结构化的优化，使得推理时耗费更低的显存和算力。因此，通常大模型的在线服务，不会直接使用huggingface 或modescope提供的api, 而是把底层的transformer模型交给专业的推理框架。vllm 推理框架的官网地址:(1) 通过使用。
vllm 安装踩坑记
自闭啦~~
03-03 2017
​参照上述所说进行安装。
大模型框架：vLLM
热门推荐
m0_37559973的博客
05-24 1万+
​vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架。它利用了全新的注意力算法「PagedAttention」，提供易用、快速、便宜的LLM服务。
【总结篇】LLM推理环境安装部署全指南
flymyd的博客
02-25 3695
本文介绍了安装WSL2、Ubuntu、NVIDIA显卡驱动、CUDA 12.4.1、cuDNN的方法及Xinference、vLLM、SGLang等推理框架的部署使用方法。本文适用于NVIDIA显卡用户，建议GPU架构为Turing或更新（对应RTX 20系或以上）。
【vLLM 学习】使用 OpenVINO 安装
HyperAI超神经
01-24 774
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →由 OpenVINO 驱动的 vLLM 支持来自 vLLM 支持的模型列表 <…/models/supported_models> 中的所有 LLM 模型，并且可以在所有 x86-64 CPU 上（至少需要 AVX2 支持）进行最佳的模型服务。
cu118 安装vllm 极简教程 & 踩坑笔记
phynikesi的博客
03-10 1740
近期安装cuda 11.8对应的vllm，折腾了好几天，踩坑不少，终于成功了，特此记录分享，希望大家可以顺利使用vllm。文章前大半为踩坑笔记，不需要的同学可直达文章底部看安装部分。
vllm安装及总结
AI智能，无处不在
10-10 1万+
vllm的安装和使用，对torch、cuda、xformers等有较多的版本依赖，过程中有一些曲折，故整理记录如下。
vllm --安装vllm
m0_50920058的博客
03-17 481
默认使用HuggingFace.容易下载超时。所以就按照上述命令来本地下载模型，下载模型成功后即可与模型交流。出现导入模块错误，安装正确版本的模块即可。使用conda安装，前提安装conda。安装modelscope库。.(确定GPU可用)
详说vllm的安装
强化学习曾小健
07-25 4670
【代码】详说vllm的安装。
vLLM 项目安装和配置指南
gitblog_07085的博客
09-13 2120
vLLM 项目安装和配置指南 vllm A high-throughput and memory-efficient inference and serving engine for LLMs 项目地址: https://gitc...
xformer\vllm与cuda版本
rstroller的博客
04-13 5612
cuda11.7安装 pip3 install xformers==0.0.23.post1 及以下版本，例如。默认不指定xformer版本可能安装最新版，对于之前版本的cuda会不兼容。
【vLLM 学习】安装
HyperAI超神经
01-10 2037
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →https://vllm.hyper.ai/vLLM 是一个 Python 库，包含预编译的 C++ 和 CUDA (12.1) 二进制文件。
07-04 周四 关于vLLM(LLMs_inference)源码安装过程问题与解决
不当初
07-10 4322
由于最近需要向vLLM上集成功能，因此，需要能够调试自己的仓库LLMs_Inference，该文档记录了源码编译的完整的过程。正常简单执行下述的代码，即可完成源码的编译安装cd vllm但实际上还是比较麻烦的。因为仓库LLMs_Inference是从vllm仓库fork出来的，所以理论上应该是一样的。仓库中有多个依赖环境，这些文件通常用于记录项目的依赖关系，以便在特定环境中进行安装和配置。：一般用于列出项目所需的所有依赖项及其版本要求。通过在该文件中指定所需的库和版本，方便一次性安装所有依赖。
vllm generate推理与Huggingface generate推理对齐(长样本)
鲨鱼儿的博客
06-24 8191
一、
Langchain-Chatchat-win10本地安装部署笔记（CPU）
weixin_56450431的博客
01-24 3201
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain。开源网址：https://github.com/chatchat-space/Langchain-Chatchat。
vllm专题（一）：安装-GPU
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
02-16 442
vLLM 是一个 Python 库，支持以下 GPU 变体。vLLM 包含预编译的 C++ 和 CUDA（12.1）二进制文件。vLLM 支持配备 ROCm 6.3 的 AMD GPU。此设备没有预构建的 wheel 包，因此您必须使用预构建的 Docker 镜像或从源代码构建 vLLM。vLLM 初步支持在 Intel GPU 平台上进行基本模型推理和服务。此设备没有预构建的 wheel 包或镜像，因此您必须从源代码构建 vLLM。
本地部署 vllm
engchina的专栏
12-25 5007
本地部署 vllm
vllm如何部署模型用ipynb
02-07
### 如何在 Jupyter Notebook 中部署 vLLM 模型 为了在 IPython Notebook 或者更常见的 Jupyter Notebook 中部署 vLLM 模型，可以遵循如下指南： #### 安装依赖库 首先，在环境中安装必要的 Python 库。这可以通过运行以下命令实现： ```bash pip install modelscope ``` 接着克隆特定版本的 `vllm` 项目仓库到本地机器上，并通过开发模式安装此包以便于后续操作。 ```bash git clone https://github.com/zwd003/vllm.git cd vllm pip install -e . ``` #### 下载预训练模型 利用 ModelScope 提供的功能下载所需的预训练模型文件至指定目录内。例如，针对轻量级对话版 DeepSeek V2 Lite Chat 模型执行如下代码片段： ```python from modelscope import snapshot_download model_directory = snapshot_download( 'deepseek-ai/DeepSeek-V2-Lite-Chat', cache_dir='/root/autodl-tmp' ) print(f"Model saved at {model_directory}") ``` #### 加载并初始化模型实例 创建一个新的 notebook 单元格用于加载刚刚获取下来的模型权重参数以及配置信息，从而构建出可供交互使用的 LLM 对象。 假设已经成功完成了上述步骤，则可以直接导入相应的类定义并且传入之前保存下来的位置路径作为参数之一来进行初始化工作。 ```python import os from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer_path = os.path.join(model_directory, "tokenizer") model_weights_path = model_directory tokenizer = AutoTokenizer.from_pretrained(tokenizer_path) model = AutoModelForCausalLM.from_pretrained(model_weights_path) # 如果 GPU 可用的话建议移至此设备加速推理过程 if torch.cuda.is_available(): device = "cuda" else: device = "cpu" model.to(device) ``` #### 构建互动界面 最后一步是在笔记本里设置简单的用户接口让用户能够方便快捷地输入查询语句并与之交流。这里展示了一个基础的例子说明如何接收来自用户的文本消息并通过调用前面准备好的 transformer pipeline 来返回预测结果。 ```python def interact_with_model(prompt_text): inputs = tokenizer(prompt_text, return_tensors="pt").to(device) outputs = model.generate(**inputs, max_length=50) response = tokenizer.decode(outputs[0], skip_special_tokens=True) print(response) # 测试函数效果 test_prompt = "你好啊！今天过得怎么样？" interact_with_model(test_prompt) ``` 以上就是在 Jupyter Notebook 上面搭建起一套完整的基于 vLLM 的大型语言模型服务的方法概述[^1]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉下心来学鲁班

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值