Batch Normalization
1 Batch Normalization优点
1、加速网络的收敛速度.每层数据的分布都是一样的,训练会比较容易收敛。
2、防止梯度爆炸和梯度消失。数据均值都在0附近.
3、防止过拟合.Bn使得一个minibatch中所有样本都被关联在了一起,因此网络不会从某一个训练样本中生成确定的结果,这样就会使得整个网络不会朝这一个方向使劲学习。一定程度上避免了过拟合.
1、mu0,mu1,mu2 = np.mean(x[:,:,:,0]),np.mean(x[:,:,:,1]),np.mean(x[:,:,:,2])
2、std0,std1,std2 = np.std(x[:,:,:,0]),np.std(x[:,:,:,1]),np.std(x[:,:,:,2])
3、(x-np.array(mu0,mu1,mu2))/(np.array(std0,std1,std2))
4、r*x+b
2 Batch Normalization流程