【已解决】vllm报错： AttributeError: ‘_OpNamespace‘ ‘_C‘ object has no attribute ‘rms_norm‘

Code

pip install vllm

报错1 error: subprocess-exited-with-error

下载过程报错：

Building wheel for vllm (pyproject.toml) ... error

error: subprocess-exited-with-error

× Building wheel for vllm (pyproject.toml) did not run successfully.

│ exit code: 1

报错1 原因及解决方案

python版本过高，目前最高支持3.11

重新创建conda环境 vllm，使用python3.11

conda install pytorch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 pytorch-cuda=12.1 -c pytorch -c nvidia

报错2  AttributeError: '_OpNamespace' '_C' object has no attribute 'rms_norm'

可能原因1：

参考：https://github.com/vllm-project/vllm/issues/5804

可能是vllm版本和现在的torch+cuda不匹配，但是这次我遇到的不是因为这个原因

报错2 解决方案

突然发现我的报错信息有一行是这样：

解决方案：

pip install vllm-flash-attn