BatchNormallization是神经网络中的一个正则化技术,可以加速网络的收敛,并且在一定程度上解决深度网络“梯度弥散”的问题。它本是数据预处理的一种方法,google的研究人员将它应用在了神经网络中。论文地址:https://arxiv.org/abs/1502.03167
理论
pytorch batch normalization: http://pytorch.org/docs/master/nn.html#normalization-layers
对于输入 x={
x1,x2,…,xN}T ,输出 y={
y1,y2,…,yN}T ,其中 N