对原始的BN来说，
∂ L ∂ x → = 1 σ [ ∂ L ∂ y → − ( ∂ L ∂ y → , 1 → ) N 1 → − ( ∂ L ∂ y → , y → ) N y → ] \frac{\partial L}{\partial \overrightarrow{x}}=\frac{1}{\sigma}[\frac{\partial L}{\partial \overrightarrow{y}}-\frac{(\frac{\partial L}{\partial \overrightarrow{y}},\overrightarrow{1})}{N}\overrightarrow{1}- \frac{(\frac{\partial L}{\partial \overrightarrow{y}},\overrightarrow{y})}{N}\overrightarrow{y}] ∂x∂L=σ1[∂y∂L−N(∂y∂L,1)1−N(∂y∂L,y)y]
令：
g B t = ( ∂ L ∂ y t → , 1 → ) N , ψ B t = ( ∂ L ∂ y t → , y t → ) N g_{Bt}=\frac{(\frac{\partial L}{\partial \overrightarrow{y_t}},\overrightarrow{1})}{N},\psi_{Bt}=\frac{(\frac{\partial L}{\partial \overrightarrow{y_t}},\overrightarrow{y_t})}{N} gBt=N(∂yt∂L,1),ψBt
本文介绍了批量归一化（BN）在训练过程中的导数计算方法，涉及两种不同的策略：一种类似onlineBN，需要分别减去y方向和1方向的导数；另一种类似于MABN，通过计算gB和ψB来估计导数。两种方法都涉及到运行统计量的更新，并给出了详细的计算公式。
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
