默认不指定xformer版本可能安装最新版,对于之前版本的cuda会不兼容
指定cuda版本安装:
cuda11.7安装 pip3 install xformers==0.0.22 及以下版本,例如
0.0.21、0.0.20
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu118
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121
vllm 如果使用cuda11.7 需要使用版本小于等于0.2.0
pip install vllm==0.2.0
cuda11.7以上其他版本正常安装应该可以。