【已解决】在进行模型量化推理的过程中遇到的错误以及解决方法

①在使用vLLM推理模型时，出现：

Error in calling custom op rms_norm: '_OpNamespace' '_C' object has no attribute 'rms_norm'

尝试众多解决方法之后，包括重新安装

pip install vllm==0.5.0

对我有用的解决方法：

修改子目录下的vllm文件夹名字，分析原因可能是由于导包的问题，导致无法引入正确的vllm环境。

修改完之后：