Pytorch中的nn.DataParallel()

nn.DataParallel()

当有多个GPU资源，且使用nn.DataParallel()，把模型同时放在多个GPU上时，需要注意：

• 输入：在执行forward()函数时，输入到模型中的batch会被分配到不同的GPU上并行进行计算，拆分维度默认为第一维度（dim=0），例如：输入数据为（24,2,32,32），GPU数量为3，则每个GPU上都会有一个forward()函数，且数据为（8,2,32,32），三个forward()是同时执行的。
• 输出：所有forward()函数的输出结果会在拆分的维度上自动进行concatenate，从而拼接成完整的输出格式。

需要注意：以上处理过程的前提是所有的输入张量都必须是cuda类型，cpu类型的输入只会被原样拷贝到每个模型的forward()函数中，而不会被拆分。

BN归一化

• 鉴于上面的处理过程，如果批归一化是在forward()函数中执行的，而不是在forward()外执行的，那么进行批归一化的batch就不在等于输入到模型中的B，而是B/gpu_num？