HEU机器学习基础0.04
Motivation动机
文章目录
前言
Preview
based on Andrew Ng
二进制分类Binary Classification
是或否 真或假 0 or 1
线性回归拟合效果一般不好
逻辑回归Logistic regression
（最广泛应用的分类算法）
Sigmoid function（Logistic funcation）
输出值在0到1之间
g
(
z
)
=
1
1
+
e
−
z
(
0
≤
g
(
z
)
≤
1
)
g(z) = \frac{1}{1+e^{-z}}(0 \leq g(z) \leq 1)
g(z)=1+e−z1(0≤g(z)≤1)
对于回归函数
f
w
⃗
,
b
f_{\vec w, b}
fw,b(
x
⃗
\vec x
x)
有
z
=
w
⃗
⋅
x
⃗
+
b
z = \vec w \cdot\vec x+b
z=w⋅x+b
g
(
z
)
=
1
1
+
e
−
(
w
⃗
⋅
x
⃗
+
b
)
g(z) = \frac{1}{1+e^{-(\vec w \cdot\vec x+b)}}
g(z)=1+e−(w⋅x+b)1
则有
f
w
⃗
,
b
(
x
⃗
)
=
g
(
w
⃗
⋅
x
⃗
+
b
)
=
1
1
+
e
−
(
w
⃗
⋅
x
⃗
+
b
)
f_{\vec w, b}(\vec x) = g(\vec w \cdot\vec x+b) = \frac{1}{1+e^{-(\vec w \cdot\vec x+b)}}
fw,b(x)=g(w⋅x+b)=1+e−(w⋅x+b)1
输出的结果不是明确的分类，而是分为某类的概率
决策边界 Decision Boundary
f
w
⃗
,
b
(
x
⃗
)
=
g
(
w
⃗
⋅
x
⃗
+
b
)
=
1
1
+
e
−
(
w
⃗
⋅
x
⃗
+
b
)
f_{\vec w, b}(\vec x) = g(\vec w \cdot\vec x+b) = \frac{1}{1+e^{-(\vec w \cdot\vec x+b)}}
fw,b(x)=g(w⋅x+b)=1+e−(w⋅x+b)1
=
P
(
y
=
a
∣
x
;
w
⃗
,
b
)
=P(y=a|x;\vec w,b)
=P(y=a∣x;w,b)
对于某个分类，目标为其中一类的概率为P，但最终结果要求需要给出明确的一类
例如：
a 有 0.7 的概率是 甲类，在分类时，需要明确给出结果：是甲类 或不是甲类
判断分类的标准一般会给出明确的数值标准，如：P
≥
\geq
≥ 0.5,则为甲类
于是根据该数值标准，可以得到一系列关系式：
z = w ⃗ \vec w w ⋅ \cdot ⋅ x ⃗ \vec x x + b = 0， w ⃗ \vec w w ⋅ \cdot ⋅ x ⃗ \vec x x = -b
逻辑回归的代价函数
代价函数Cost：
J
(
w
,
b
)
=
1
2
m
∑
i
=
1
m
(
f
w
⃗
,
b
(
x
⃗
(
i
)
)
−
y
(
i
)
)
2
J(w,b) = \frac{1}{2m}\sum_{i=1}^{m}(f_{\vec w, b}(\vec x^{(i)}) - y^{(i)})^2
J(w,b)=2m1i=1∑m(fw,b(x(i))−y(i))2
损失Loss:
L
(
f
w
⃗
,
b
(
x
⃗
(
i
)
)
,
y
i
)
L(f_{\vec w, b}(\vec x^{(i)}),y^{i})
L(fw,b(x(i)),yi)
−
l
o
g
(
f
w
⃗
,
b
(
x
⃗
(
i
)
)
)
,
i
f
y
(
i
)
=
1
−
l
o
g
(
1
−
f
w
⃗
,
b
(
x
⃗
(
i
)
)
)
,
i
f
y
(
i
)
=
0
}
=
L
(
f
w
⃗
,
b
(
x
⃗
(
i
)
)
,
y
i
)
\begin{aligned} \left.\begin{aligned} &-log(f_{\vec w, b}(\vec x^{(i)})), if \ y^{(i)}=1\\ &-log(1-f_{\vec w, b}(\vec x^{(i)})), if \ y^{(i)}=0 \end{aligned} \right\} %加右} \qquad =L(f_{\vec w, b}(\vec x^{(i)}),y^{i}) \end{aligned}
−log(fw,b(x(i))),if y(i)=1−log(1−fw,b(x(i))),if y(i)=0}=L(fw,b(x(i)),yi)
2265
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
