为什么Batch Norm有效？

最近思考得到的解答，将input进行norm标准化，等价于input进行了缩放，在进行反向传播修正时(以mini batch-SGD为例)，计算梯度时，不会出现梯度爆炸和消失（因为在这之前对input进行了norm）。同时batchsize的选取很有讲究，batch太小，计算出的梯度下降方向震荡，或是出现前后更新方向相抵消。导致难以学习，或者无法收敛。太大会导致下降方向无太大变化，求解最优解依赖于学习率的设置，相比batch较小时会消耗更长的时间。

为什么保证方差的一致性对训练有益处？

思考《PRML》中提到的，机器学习算法的基础是独立同分布，在这个大前提下，我们所使用的数据集的分布是被假设为与数据集涉及的内容具有相同分布的（联想吉布斯采样，再联想蒙特卡洛方法），如若不满足独立同分布的假设，那么算法在应用时将会出现问题。现在考虑将大环境设置为深度学习数据集的分布，每次的batch被视为与数据集具有相同分布。此时在训练时由于方差相同，所以不会出现模型繁华问题。同理batchnorm中的将每层的input batch进行标准化，是指服从0均值，1方差的分布，亦能加速训练。

######################################################################################################

卷积神经网络中隐藏层输入为前一层的输出，因此，如果前一层输出的分布改变，那么后续隐藏层的权重矩阵与偏置值必将发生改变（重现训练已学习适应新输入的参数）。

Bacth Norm的使用限制了隐藏层的输入的变动幅度（