线性回归
多维梯度下降
Logistic regression
logistic regression梯度下降公式
logistic function 或者sigmoid function
g
(
z
)
=
1
1
+
e
−
z
g(z) = \frac{1}{1+e^{-z}}
g(z)=1+e−z1
过度拟合
过度拟合可以通过减少特征维度和加正则项来缓解。
可以在目标函数中加一关于模型复杂度的惩罚项来缓解过度拟合，称为正则化。
线性回归的正则化
为什么
θ
0
\theta_{0}
θ0要单独列出来呢？
在线性回归中
h
θ
(
x
i
)
=
θ
0
+
θ
1
x
1
(
i
)
+
θ
2
x
2
(
i
)
+
.
.
.
+
θ
n
x
n
(
i
)
h_{\theta}(x^{i}) = \theta_{0}+\theta_{1}x^{(i)}_{1}+\theta_{2}x^{(i)}_{2}+...+\theta_{n}x^{(i)}_{n}
hθ(xi)=θ0+θ1x1(i)+θ2x2(i)+...+θnxn(i)
我们加正则项的目的是让模型简单，让一些维度或者特征的系数趋于0，因此在梯度下降过程中，不对
θ
0
\theta_{0}
θ0加以惩罚。
logistic regression的正则化
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
