weixin_43858148的博客

原创 Batch Normalization

Batch Normalization 在 training 和 testing 的时候，BatchNormalization (BN) 层的表现将有所不同。在 training 时，BN将根据指定的 axis 对当前 batch 的数据进行归一化即 x = (x - mean) / tf.sqrt(var + epsilon) 其中 mean, var = tf.nn.moments( x, a...