深度学习DistributedDataParallel训练时，tensorboard无法显示scalar曲线图的问题。

问题描述

深度学习多GPU训练时，tensorboard无法显示scalar曲线图的问题。
在进行双卡训练一个神经网络时，我用DistributedDataParallel的方法进行分布式训练，但是发现生成的loss曲线只有第一个点。
解决方法是在这之前添加args.local_rank==0的约束，和多卡保存ckpt的思路一样。如下：

if args.local_rank==0
	summary_writer.add_scalar(name,value,global_step)
	...

---