BUG:C++/CUDA extensions. xFormers was built for: PyTorch 2.1.2+cu121 with CUDA 1201 (you have 2.1.0+cpu)
环境
linux
python 3.10
torch 2.1.2+cu118
vllm 0.3.3+cu118
xformers 0.0.23.post1
详情
使用vllm启动大模型出现的错误。
原因:xformers版本和torch、cuda不匹配。我机器的cuda版本只支持到11.8,而 pip install xformers 默认安装的版本需要cuda12.1。
解决方法
安装 xformers 支持torch2.1.2,python3.10,cuda 11.8的版本
【1】访问https://anaconda.org/xformers/xformers/files, 找个对应的版本
【2】下载对应版本
windows可以直接网页下载。
linux可以通过wget下载。
wget https://anaconda.org/xformers/xformers/0.0.23.post1/download/linux-64/xformers-0.0.23.post1-py310_cu11.8.0_pyt2.1.2.tar.bz2
【3】卸载旧版本
pip uninstall xformers
【4】安装新版本
conda install xformers-0.0.23.post1-py310_cu11.8.0_pyt2.1.2.tar.bz2
【5】验证
python -m xformers.info