思路:
逻辑回归:实质为
R
n
−
>
0
,
1
R^n->{0,1}
Rn−>0,1的映射,
y
=
θ
T
X
y=\theta^TX
y=θTX
P
(
y
=
1
∣
x
)
=
1
1
+
e
−
θ
T
X
=
h
θ
(
X
)
P(y=1|x)=\frac{1}{1+e^{-\theta^{T}X}}=h_{\theta}(X)
P(y=1∣x)=1+e−θTX1=hθ(X)
P
(
y
=
0
∣
x
)
=
1
−
1
1
+
e
−
θ
T
X
=
1
−
h
θ
(
X
)
P(y=0|x)=1-\frac{1}{1+e^{-\theta^{T}X}}=1-h_{\theta}(X)
P(y=0∣x)=1−1+e−θTX1=1−hθ(X)
P
i
=
h
θ
(
X
)
Y
(
1
−
h
θ
(
X
)
)
1
−
Y
P_{i}=h_{\theta}(X)^{Y}(1-h_{\theta}(X))^{1-Y}
Pi=hθ(X)Y(1−hθ(X))1−Y
此处的代价函数时由极大似然的思想得来的
普通逻辑回归代码:
正则化逻辑回归:
无法使用普通的做法,需要feature mapping
如图是低维变高维
2维变1+2+…+7=7*8/2=28维
注:第一个θ不参与正则
决策边界:
θ
T
X
=
0
\theta^TX=0
θTX=0