主机:
python -m paddle.distributed.launch --master 10.0.0.99:6070 --nnodes 2 tools/train.py -c ResNet101_vd.yaml
从机:
python -m paddle.distributed.launch --master 10.0.0.99:6070 --nnodes 2 tools/train.py -c ResNet101_vd.yaml
这里,没有指定用那个显卡,但是使用nvidia-smi命令,就会发现:默认是启动了所有显卡。
启动之后,只有主机出现训练log,但是,发现了一个现象,就是训练速度太慢了,比单独的一块显卡还要慢。