大丈夫

原创 syncbn在TensorFlow中的实现

在syncbn之前我们先简单介绍一下BN层以及多卡机制 BN层介绍 BN层中有两个可训练参数（beta, gamma），以及两个统计参数（moving mean, moving variance）。训练过程和测试过程，BN层计算方式是不同的。训练过程，beta和gamma与卷积层中的weight是一样参与训练的，然后moving mean与moving variance由当前的batch me...