多卡bn怎么做

单卡bn： 不能在训练时只计算一个批次内的样本的均值和方差，然后通过减均值除以方差乘上缩放系数再加上偏移系数；
多卡bn：多卡的时候，对于数据并行这种处理方式，如果想要同步bn，因为数据是平均放在多个gpu上面，但是模型又需要所有数据进行nomalize，常规的想法就是，首先各个gpu单独计算该gpu上的数据的均值，然后做一次同步，计算所有该批次内所有数据的全局均值，然后用全局均值去算每张卡对应的方差，然后再做一次同步，得到全局方差；但是这样多次通信会很耗时，所以为解决这个问题，提出来下面的方法：在第一次同步均值的时候提前算好x平方和x的和，因为方差的计算只与x有关，所以我们事先算好，就可以在第一次同步均值时同时同步方差。