【已解决】vllm报错: AttributeError: ‘_OpNamespace‘ ‘_C‘ object has no attribute ‘rms_norm‘
参考:https://github.com/vllm-project/vllm/issues/5804。可能是vllm版本和现在的torch+cuda不匹配,但是这次我遇到的不是因为这个原因。重新创建conda环境 vllm,使用python3.11。python版本过高,目前最高支持3.11。
原创
2024-07-18 16:34:47 ·
1644 阅读 ·
0 评论