pytorch 与 BatchNormalization

BatchNormallization是神经网络中的一个正则化技术，可以加速网络的收敛，并且在一定程度上解决深度网络“梯度弥散”的问题。它本是数据预处理的一种方法，google的研究人员将它应用在了神经网络中。论文地址：https://arxiv.org/abs/1502.03167

理论

pytorch batch normalization: http://pytorch.org/docs/master/nn.html#normalization-layers
对于输入$x=\{x_1, x_2,\ldots,x_N \}^T$，输出$y=\{y_1, y_2,\ldots, y_N\}^T$，其中 N