微调时执行finetune.sh文件后报错:
ImportError: /root/.cache/torch_extensions/py312_cu118/fused_adam/fused_adam.so: cannot open shared
问题原因:
在安装deepspeed时直接使用了以下命令,导致安装时没有对fused_adam进行安装;
pip install deepspeed
通过在命令行输入以下命令,可查看到deepspeed的具体安装信息;
ds_report
具体显示如下(图上传不了,简单描述以下)
主要看到fused_adam那一行,其install的信息栏显示为NO
解决办法:
先卸载deepspeed然后通过源码下载安装:
pip uninstall deepspeed
git clone https://github.com/microsoft/DeepSpeed
cd DeepSpeed
DS_BUILD_FUSED_ADAM=1 pip install .
再次执行训练,发现已经不在报上述错误。