正则化思想
正则化思想：在原有的
m
i
n
1
2
m
∑
i
=
1
m
(
h
θ
(
x
i
)
−
y
i
)
2
min\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^i)-y^i)^2
min2m1i=1∑m(hθ(xi)−yi)2
加上1000
θ
3
2
+
1000
θ
4
2
\theta_3^2+1000\theta_4^2
θ32+1000θ42(此处为举例，具体情况具体讨论)，为使
m
i
n
1
2
m
∑
i
=
1
m
(
h
θ
(
x
i
)
−
y
i
)
2
+
1000
θ
3
2
+
1000
θ
4
2
min\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^i)-y^i)^2+1000\theta_3^2+1000\theta_4^2
min2m1∑i=1m(hθ(xi)−yi)2+1000θ32+1000θ42尽可能小，则
θ
3
、
θ
4
\theta_3、\theta_4
θ3、θ4尽量接近于0。
正则化
J ( θ ) = 1 2 m ∑ i = 1 m [ ( h θ ( x i ) − y i ) 2 + λ ∑ j = 1 n θ j 2 ] J(\theta) = \frac{1}{2m}\sum_{i=1}^m[(h_\theta(x^i)-y^i)^2+\lambda\sum_{j=1}^n\theta_j^2] J(θ)=2m1i=1∑m[(hθ(xi)−yi)2+λj=1∑nθj2]
若正则化参数过大，
θ
1
、
θ
2
、
θ
3
.
.
.
\theta_1、\theta_2、\theta_3...
θ1、θ2、θ3...趋于0，导致
h
θ
(
x
)
=
θ
0
h_\theta(x) = \theta_0
hθ(x)=θ0,图像为一条水平线，且不能经过所有的点，为欠拟合。
Logistic回归的正则化
458
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
