一个小硕的二亩三分地

原创 Batch Normalization

Batch Normalization动 机在以往的网络训练中，对于参数的初始化和训练速率都必须小心谨慎的选择，这导致网络的训练十分困难并且缓慢。究其原因，论文认为是网络中不同层的输出会相互影响，某一层输出变量分布的改变，会导致之后网络不断调整适应。因此文章希望能够固定每一层输出的分布之后，再送入激活函数，这样没一层网络不用去调整适应不同分布的输入，便可以加快训练效率。 传统的白化方法也提出了类似的