
基于昇腾的大模型部署
在昇腾的设备商需要安装驱动和对应的固件,具体安装什么版本是与一些库支持,比如打算使用mindformers1.0,那么驱动是23.0.rc3+7.0.0.5.242。如果是要重新安装torch的环境,有的软件需要重新编译后安装,一定要先卸载而不要想覆盖的方式安装python的包。在这里使用mindformers的web-chat,这里面就是纯python了,直接从predict_process.py文件中接到自己的服务中即可。本来是有hccl命令来生成的hccn.conf文件的,如果无法生成可以手动建立。



