batch morm的作用

1.BN在batch的维度上norm，归一化维度为[N，H，W]，对batch中对应的channel归一化

主要部分说完了，接下来对BatchNorm做一个总结：

• 没有它之前，需要小心的调整学习率和权重初始化，但是有了BN可以放心的使用大学习率，但是使用了BN，就不用小心的调参了，较大的学习率极大的提高了学习速度，
• Batchnorm本身上也是一种正则的方式，可以代替其他正则方式如dropout等
• 另外，个人认为，batchnorm降低了数据之间的绝对差异，有一个去相关的性质，更多的考虑相对差异性，因此在分类任务上具有更好的效果。

注：或许大家都知道了，韩国团队在2017NTIRE图像超分辨率中取得了top1的成绩，主要原因竟是去掉了网络中的batchnorm层，由此可见，BN并不是适用于所有任务的，在image-to-image这样的任务中，尤其是超分辨率上，图像的绝对差异显得尤为重要，所以batchnorm的scale并不适合。

参考链接：

https://blog.csdn.net/qinglv1/article/details/95927226

https://zhuanlan.zhihu.com/p/24810318