cu118 安装vllm 极简教程 & 踩坑笔记

phynikesi

已于 2025-03-11 13:25:37 修改

阅读量2k

点赞数 28

文章标签：笔记 vllm 安装极简教程 vllm cu118 踩坑

于 2025-03-10 15:06:22 首次发布

本文链接：https://blog.csdn.net/phynikesi/article/details/146153068

版权

近期安装cuda 11.8对应的vllm，折腾了好几天，踩坑不少，终于成功了，特此记录分享，希望大家可以顺利使用vllm。文章前大半为踩坑笔记，不需要的同学可直达文章底部看安装部分。

本机环境

系统: Linux version 3.10.0-1160.114.2.el7.x86_64

GPU: RTX A4000, CUDA Version: 12.0

系统CUDA：11.3

踩坑

坑位说明：

1 python 版本

2 cuda 版本

3 torch 版本

4 vllm-nccl

5 pip 命令

python 版本问题

vllm 官方说 3.8 <= python <= 3.12, 我试过 3.8，3.9 和 3.10，只有3.10成功了，不排除3.8 和3.9 也能成功，容易踩坑不推荐。遇到的典型错误如下：

Cargo, the Rust package manager, is not installed or is not on PATH.
This package requires Rust and Cargo to compile extensions. Install it through
the system's package manager or via https://rustup.rs/

查了一些资料，有人说将他的32-bit 版本python 换成64-bit版本就解决，我是将py3.8换成py3.10.0解决的，统一称为python版本问题吧。

cuda 版本问题

vllm 官方主要支持 cuda 11.8 和 cuda 12.1两个版本，分别代表代表两个版本所能支持的最高cuda。这个cuda 版本不能超过自己GPU对应的cuda version，如我的gpu 12.0，已安装系统cuda 11.3，理论上我可以升级至cuda 12.0 再使用vllm - cuda-12.1，未尝试。目前已经证实，11.3 的系统cuda 可以使用vllm -cu118。

torch 版本问题

很多教程都会强调vllm 对 python 和 cuda的要求，但是不强调torch 版本，这是不行的，因为： 1）具体的vllm 包是在明确的torch 版本下编译的；2）torch 也受cuda 制约，太低或太高的torch 不一定能使用cuda 11.8。经过我的测试，大致对应关系如下（不完全准确哈）：

目前torch 2.0.x~2.3.x 支持 cuda 11.8，对应的vllm 0.4.x。

vllm >= 0.5.x，torch>=2.3.x

vllm >=0.6，torch>=2.5.x

vllm-nccl 问题

很多人安装过程中会遇到 vllm-nccl 包卡主的情况。

eg：https://files.pythonhosted.org/packages/04/36/0c44b91575274bfe401e5605551d8644281b2c95e6572a2697dc2bee5bd3/vllm_nccl_cu11-2.18.1.0.4.0.tar.gz

一开始我想自己下载这个包安装，去pypi 官网下载了这个包，主要内容如下：

运行 python setup.py build，卡主了。这里会在github 下载一个包：cu11-libnccl.so.2.18.1。

这个包也会卡，我直接上梯子进github 手动下载，200多M。毕竟下载任务卡主了，有了这个包也不知道怎么装，后续瞎折腾一通还是不行，放弃。一开始猜测是从github 下载导致卡，可是加梯子也没用，我单独可以在github 上下载cu11-libnccl.so.2.18.1，说明网络不是问题，可能是安装程序有问题。

还好有人把这个包做成了 whl 文件，我们可以直接安装。此外，也可以在这里找到cu12的包。

链接：piwheels - vllm-nccl-cu11

piwheels - vllm-nccl-cu12