Batch Normalization

对数据做normalization预处理的目的就是使数据变换范围不太大。神经网络在训练时，标准化输入可以提高网络训练速度。由于在训练过程中的参数的变化会导致网络后续层的输入的分布发生变化，这种现象称之为internal covariate shift。网络训练的过程又要使每一层适应输入的分布，因此我们必须降低学习率，小心的初始化。

Batch Normalization 的 batch 是批数据, 把数据分成小批输进网络中，在每批数据进行前向传递时, 对每一层都进行 normalization 的处理。均值和方差的计算，比如在卷积层中，Wx+b的均值和方差是对整张map求得的（batch_size * channel * height * width这么大的一层中，对总共batch_sizeheightwidth个像素点统计得到一个均值和一个标准差，共得到channel组参数）

归一化很简单，就是让输入的数据满足均值为0，方差为1的分布，就是图中标准化工序，为什么会有反标准化的原因就是，当我们训练网络优化模型使得数据满足某种分布，一标准化，又将其破坏掉了，所以就有反标准化操作，将归一化的数据再扩展和平移，为BN增加了2个参数，就是用来保持模型的表达能力。 这样网络自己就会学习到前面的normalization是否优化模型，如果没有优化&#x