什么是参数正则化
训练模型时,在原来的损失函数后,添加模型的复杂度。
Lossnew=minimize(Loss(Data|Model))+λ complex(Model)
L
o
s
s
n
e
w
=
m
i
n
i
m
i
z
e
(
L
o
s
s
(
D
a
t
a
|
M
o
d
e
l
)
)
+
λ
c
o
m
p
l
e
x
(
M
o
d
e
l
)
一般我们使用 L2 L 2 正则化:
L2=||w||22=Σnn=1w2i
L
2
=
|
|
w
|
|
2
2
=
Σ
n
=
1
n
w
i
2
为什么引入参数正则化
防止过拟合现象:
图中的Training Data的损失越来越小,但是Validation Data的损失却越来越大,因此产生了过拟合现象。使用正则化,可以减轻过拟合的现象,这与模型的复杂度和
λ
λ
有关。
λ λ 数值过小,可能引发过拟合;过大会可能引发欠拟合。