Pytorch分布式代码的训练一般在命令行下启动,或者shell脚本启动。
python3 -m torch.distributed.launch --nproc_per_node=8 --master_port=7129 train_PBAFN_stage1.py --name PBAFN_stage1 \
--resize_or_crop None --verbose --tf_log --batchSize 4 --num_gpus 8 --label_nc 14 --launcher pytorch
但代码调试不便,用Pycharm运行Pytorch分布式代码需要做一些参数设置。
- 设置软连接
ln -s /home/xxx/.local/lib/python3.5/site-packages/torch/distributed/ /mnt/disk2/xxx/work/PF-AFN/PF-AFN_train/
- 设置参数
pycharm中,编辑训练脚本train_PBAFN_stage1.py
的Edit Configurations
,脚本选择软连接的/mnt/disk2/xxx/work/PF-AFN/PF-AFN_train/distributed/launch.py
,参数设置如下:
--nproc_per_node=2 --master_port=7129 /mnt/disk2/xxx/work/PF-AFN/PF-AFN_train/train_PBAFN_stage1.py --name PBAFN_stage1 --resize_or_crop None --verbose --tf_log --batchSize 4 --num_gpus 8 --label_nc 14 --launcher pytorch
- 运行训练脚本即可