Normalizing inputs 输入归一化
1. 输入归一化能够加快训练速度
2. 首先,将输入减去均值
μ=1m∑i=1mx(i)
μ
=
1
m
∑
i
=
1
m
x
(
i
)
x:=x−μ
x
:=
x
−
μ
3. 其次,方差归一化
σ2=1m∑i=1mx(i)∗∗2(∗∗meanselement−square)
σ
2
=
1
m
∑
i
=
1
m
x
(
i
)
∗
∗
2
(
∗
∗
m
e
a
n
s
e
l
e
m
e
n
t
−
s
q
u
a
r
e
)
x:=x/σ2
x
:=
x
/
σ
2
4. 使用在test set得到的 μ,σ2 μ , σ 2 来处理dev set 或者test set
如果输入的变量范围差别很大(0-1,0-1000),那就很有必要使用上述方法