Batch Normalization
在神经网络训练过程中,使用Batch Normalization能够加快训练速度。
BN算法过程如下:
首先输入值是每一个mini-batch的值,这里用Z表示该layer的值:
Z
=
{
x
1
,
x
2
,
.
.
,
x
n
}
Z = \{x_1,x_2,..,x_n\}
Z={x1,x2,..,xn}
首先求出这个layer的均值:
μ
=
1
m
∑
Z
i
\mu=\frac{1}{m}\sum Z^{i}
μ=m1∑Zi
接着layer的每一个值减去均值:
δ
2
=
1
m
∑
(
Z
i
−
μ
)
\delta^2=\frac{1}{m}\sum (Z^{i}-\mu)
δ2=m1∑(Zi−μ)
求出以上两个值,代入公式求出:
Z
n
o
r
m
a
l
i
z
e
d
(
i
)
=
α
Z
(
i
)
μ
δ
2
+
ε
+
β
其
中
α
和
β
是
通
过
训
练
学
习
得
到
的
超
参
数
Z_{normalized}^{(i)} = \alpha \frac{Z^{(i)}\mu}{\sqrt{\delta^2}+\varepsilon}+\beta\\ 其中\alpha和\beta是通过训练学习得到的超参数
Znormalized(i)=αδ2+εZ(i)μ+β其中α和β是通过训练学习得到的超参数
然而在测试中,我们并不会直接计算计算μ和δ,因为在测试的时候,是一个一个样本进行测试的,所以没办法求μ和δ,所以可以用训练数据的。因为每次做 Mini-Batch 训练时,都会有那个 Mini-Batch 里 m 个训练实例获得的均值和方差,现在要全局统计量,只要把每个Mini-Batch的均值和方差统计量记住,然后 均值采用训练集所有 batch 均值的期望,方差采用训练集所有 batch 的方差的无偏估计即可得出全局统计量。