MABN MABN的出发点是BN依赖于大的BatchSize。作者发现,BN对于BatchSize的依赖不仅体现在均值和方差两个统计量上,还体现在导数上。经过与Online Norm对比发现,这两个对BatchSize依赖的导数项就是导数在 1 → \overrightarrow{1} 1