CUDA 118 安装vllm

正文

如果使用vllm官方文档中的安装方法pip install vllm会默认使用CUDA12进行编译安装，导致安装失败。官方也提供了cuda118的安装方法：

# Install vLLM with CUDA 11.8.
export VLLM_VERSION=0.6.1.post1
export PYTHON_VERSION=310
pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118

但实际操作中也会出现一些问题，下面介绍一下我平时探索出的安装方法。

1. 下载cu118的vllm轮子

没有具体的包含所有whl的网站，大家可以去https://github.com/vllm-project/vllm/releases这个版本发布网站挨个点进去看一下，是否有所需的whl文件

下面给出一个最新的支持cu118的版本

python=312
vllm=0.6.1.post2
url=https://github.com/vllm-project/vllm/releases/download/v0.6.1.post2/vllm-0.6.1.post2+cu118-cp312-cp312-manylinux1_x86_64.whl

2. 下载cu118的pytorch轮子

这里给出一个离线下载pytorch的网站https://download.pytorch.org/whl/torch/。最新版本的vllm基本都需要pytorch版本2.4.0或者2.5.0。选择合适的whl进行下载。

3. 离线安装

下载完上面的两个文件之后可以进行离线安装，安装顺序为先安装torch，然后再安装vllm。安装完torch之后，安装vllm的时候就会检测到torch已经安装并且满足要求，就会略过torch的安装，这也是核心所在。

pip install torch.whl
pip install vllm.whl
# 这里torch、vllm指上面的离线下载的文件，请替换成你自己的文件

最后安装成功！可以开心的使用了😀