解决pytorch分布式训练loss异常（过大、过小）

问题描述：

      网络单卡训练loss一切正常，多卡训练loss异常（过大、过小）

问题解决：

        1. 首先排除学习率设置不合理、是否使用梯度截断、输入的数据（图片、点云、标签）是否完整、loss计算是否出现分母为0的情况。

        2. 查看代码中是否使用了mmdet.core.reduce_mean()、torch.distribute.all_reduce()，输入的数据一定是8字节的！！！整形使用tensor.long()，浮点数使用tensor.double()转一下。

        3. 如果使用了mmdet框架，mmdet.models.detectors.base.py.BaseDetector._parse_losses也调用了all_reduce()，这里记得修改。