模型
假设函数:
h
θ
(
x
)
=
g
(
z
)
=
1
1
+
e
−
z
h_\theta(x)= g(z) = \frac{1}{1+e^{-z}}
hθ(x)=g(z)=1+e−z1
且
z
=
θ
T
x
z = \theta^Tx
z=θTx
h
θ
(
x
)
h_\theta(x)
hθ(x)为给出x,
θ
\theta
θ的情况下的概率。
该概率大于等于
50
%
50\%
50%,y =1;小于
50
%
50\%
50%,y=0。
决策边界(Decision boundary)
如图,假定
−
3
+
x
1
+
x
2
≥
0
-3+x_1+x_2\ge0
−3+x1+x2≥0时,预测的y值等于1,此时,做直线
−
3
+
x
1
+
x
2
=
0
-3+x_1+x_2=0
−3+x1+x2=0。
(
x
1
,
x
2
)
(x_1,x_2)
(x1,x2)在直线上半部分y = 1,下半部分y = 0。
通过在特征中增加复杂的多项式可以得到更复杂的决定边界。
拟合参数
y=1时,
h
θ
(
x
)
h_\theta(x)
hθ(x) = 1,cost = 0,说明预测对了;
h
θ
(
x
)
h_\theta(x)
hθ(x) = 1,cost
→
∞
\rightarrow\infty
→∞,说明预测错了。
y=0时,
h
θ
(
x
)
h_\theta(x)
hθ(x) = 0,cost = 0,说明预测对了;
h
θ
(
x
)
h_\theta(x)
hθ(x) = 1,cost
→
∞
\rightarrow\infty
→∞,说明预测错了。
算法思路:
梯度算法的可替代算法
高级算法的使用
训练logistic回归划分类别
三个分类器分别输入x,选择出三个类别中可信度最高、效果最好的分类器,得到的最高值就是y的预测值
过拟合,欠拟合