Ferrebo的博客

BN的简单计算步骤为： 沿着通道计算每个batch的均值 μ=1m∑i=1mxi\mu = \frac{1}{m} \sum_{i=1}^m x_iμ=m1​∑i=1m​xi​。 沿着通道计算每个batch的方差δ2=1m∑i=1m(xi−μb)2\delta^2 = \frac{1}{m} \sum_{i=1}^m (x_i - \mu_b)^2δ2=m1​∑i=1m​(xi​−μb​)2。 对xxx 做归一化，x^i=xi−μbδb2+ϵ\hat x_i = \frac{x_i - \mu_b}{\s