vLLM在CPU服务器上的部署方案
我们使用了Linux+CPU服务器,并参考了文章:
https://blog.csdn.net/obullxl/article/details/141105850,
但是部署过程中,提示下面的错误即
Error in calling custom op rms_norm: ‘_OpNamespace’ ‘_C’ object has no attribute ‘rms_norm’
尝试了多种办法都没有解决问题,后又参考文章:
https://blog.csdn.net/MMMMMMNONG/article/details/141167843,
把vLLM的版本降到0.5.1解决了,并下载对应的torch版本。
另外,vLLM的CPU版本,依赖Intel的oneAPI工具,下载安装工具地址:https://www.intel.com/content/www/us/en/developer/tools/oneapi/base-toolkit-download.html