vllm安装及总结

vllm的安装和使用，对torch、cuda、xformers等有较多的版本依赖，过程中有一些曲折，故整理记录如下。

1. vLLM 及关联依赖安装，完整示例

以下是一个完整的示例，展示了如何卸载当前的 torch，安装指定版本的 torch，并安装 vLLM：

注意选择适合自己版本的cuda和torch。其中xformers是加速用的，可以参考另外的帖子vLLM加速组件XFormers与FlashAttention的区别进行了解。

# 卸载当前的 torch
pip uninstall torch

# 安装指定版本的 torch
pip install torch==2.3.0+cu118 xformers -f https://download.pytorch.org/whl/torch_stable.html

# 安装 vLLM
pip install vllm==0.5.1+cu118

2. 其他参考

（1）torch + CUDA 版本对应安装方式

pip install torch==2.3.0+cu121 torchvision==0.18.0+cu121 torchaudio==2.3.0 torchtext torchdata --index-url https://download.pytorch.org/whl/cu121

3. cudatoolkit 安装

conda install -c conda-forge cudatoolkit=12.1

4. vLLM 官方安装方式

export VLLM_VERSION=0.5.1
export PYTHON_VERSION=39
pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118

5. vLLM 安装包 whl 离线下载

您可以根据需要自行更改 vLLM 和 Python 的版本号：

https://github.com/vllm-project/vllm/releases/download/v0.5.1/vllm-0.5.1+cu118-cp39-cp39-manylinux1_x86_64.whl

---

说明

• torch 版本：根据您的 CUDA 版本选择合适的 torch 版本。
• vLLM 版本：确保选择的 vLLM 版本与您的 CUDA 和 Python 版本兼容。
• cudatoolkit：如果您使用的是 Anaconda 环境，建议通过 conda 安装 cudatoolkit 以确保兼容性。

---