这是因为默认使用的是.local/bin/accelerate而不是conda环境里的accelerate
查看accelerate路径与python是否一致
which python
which accelerate
打印输出果然accelerate路径有问题
(python)/home/ubuntu/.conda/envs/Emb/bin/python
(accelerate)/home/ubuntu/.local/bin/accelerate
这里可以选择临时调整环境变量PATH:
export PATH="/data/wqx/anaconda3/envs/diffcast/bin:$PATH"
然后accelerate就是conda 环境里的那个了。
直接命令行加速,不用写accelerate config了
CUDA_VISIBLE_DEVICES=0,1 accelerate launch --main_process_port 41011 --num_processes 2 main.py