计算机视觉3 Batch Normalization

1 Batch Normalization优点

1、加速网络的收敛速度.每层数据的分布都是一样的，训练会比较容易收敛。

2、防止梯度爆炸和梯度消失。数据均值都在0附近.

3、防止过拟合.Bn使得一个minibatch中所有样本都被关联在了一起，因此网络不会从某一个训练样本中生成确定的结果，这样就会使得整个网络不会朝这一个方向使劲学习。一定程度上避免了过拟合.

1、mu0,mu1,mu2 = np.mean(x[:,:,:,0]),np.mean(x[:,:,:,1]),np.mean(x[:,:,:,2])
2、std0,std1,std2 = np.std(x[:,:,:,0]),np.std(x[:,:,:,1]),np.std(x[:,:,:,2])
3、(x-np.array(mu0,mu1,mu2))/(np.array(std0,std1,std2))
4、r*x+b

2 Batch Normalization流程