Batch Normalization 论文阅读

论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

参考：https://www.cnblogs.com/guoyaohua/p/8724433.html

BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。

BN 本质上是在解决：为什么随着深度神经网络加深，训练起来越困难，收敛越慢（是因为整体分布逐渐往非线性函数的取值区间的上下限两端靠近，导致反向传播时低层神经网络的梯度消失）

BN 就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布，把越来越偏的分布强制拉回比较标准的分布，这样使得激活函数值落在非线性函数对输入比较敏感的区域，让梯度加大，避免产生梯度消失问题，而且梯度大意味着学习收敛速度快。所以BN层要在激活函数前，值x=wu+b后

很多论文都是在解决这个问题：例如relu 激活函数的提出来代替sigmoid

BatchNorm是基于Mini-Batch SGD的,batchsize 一定要大于1，但是sgd 超参数调节起来麻烦（学习率要变）bn可以解决这个问题

BN思想来源：之前的研究表明在图像处理中对输入图像进行白化操作（对输入数据分布变换到0均值，单位方差的正态分布）那么神经网络会较快收敛。对于深度神经网络来说，某个