sgd 参数 详解_Batch Normalization详解

前言

Batch Normalization是深度学习发展过程中出现的最重要的算法之一，Batch Normalization会使你的参数搜索问题变得容易，使神经网络对超参数的选择更加稳定，也使你更容易训练深层神经网络。

论文链接：https://arxiv.org/abs/1502.03167

一些符号说明

假设现在有如下神经网络：

神经网络示例

我们把输入记为

（

向量），输入当作第0层，最后一层为第

层。第

层的节点数记为

，则上图中

，

，

，

。

上图中每个节点的计算方式如下，其中

是激活函数的输出值，

是激活函数。

我们把第

层中的激活函数输出值记为

（

是个向量） ,则

。我们把输入

看做第0层的激活值

，最后一层的激活值为网络的预测输出，即

。计算

的权重矩阵记为

，第

层的偏移值记为

（

是个向量）。

Batch Normalization

我们知道在训练神经网络时，归一化输入特征可以加速学习过程。那么在深层神经网络中，我们归一化

是否也还有益于

和

的训练呢？严格来说，我们这里归一化的是

而不是

。

这里关于到底是归一化

还是

有一些争议

，在实际使用中我更