定义:输入为
x
∈
R
n
x\in R^n
x∈Rn,输出为
y
∈
{
−
1
,
1
}
y \in \{-1,1\}
y∈{−1,1},
x
x
x为空间的特征向量,对应于输入空间(特征空间)的点,输出的y表示实例的类别函数
f
(
x
)
=
s
i
g
n
(
w
∗
x
+
b
)
f(x)=sign(w*x+b)
f(x)=sign(w∗x+b)称为感知机
w
∈
R
n
w\in R^n
w∈Rn称为权值向量(weight vector),b称为偏置(bias),
s
i
g
n
(
x
)
=
{
1
x>=0
−
1
x<0
sign(x)= \begin{cases} 1& \text {x>=0} \\ -1& \text {x<0} \end{cases}
sign(x)={1−1x>=0x<0
数据集
T
=
{
(
x
1
,
y
1
)
,
(
x
2
,
y
2
)
.
.
.
(
x
n
,
y
n
)
}
T=\{(x_1,y_1),(x_2,y_2)...(x_n,y_n)\}
T={(x1,y1),(x2,y2)...(xn,yn)}
对所有的
y
i
=
1
y_i=1
yi=1都有
w
∗
x
i
+
b
>
0
w*x_i+b>0
w∗xi+b>0,
对所有的
y
i
=
−
1
y_i=-1
yi=−1都有
w
∗
x
i
+
b
<
0
w*x_i+b<0
w∗xi+b<0
则称数据集
T
T
T可分
超平面
线性方程 w ∗ x i + b = 0 w*x_i+b=0 w∗xi+b=0形成一个超平面, b b b称为超平面的截距,w为超平面的法向量
损失函数
点
x
0
x_0
x0到超平面的距离为
1
∣
∣
w
∣
∣
∣
w
∗
x
0
+
b
∣
\frac{1}{||w||}|w*x_0+b|
∣∣w∣∣1∣w∗x0+b∣
∣
∣
w
∣
∣
||w||
∣∣w∣∣为
w
w
w的
L
2
L_2
L2范数
1
∣
∣
w
∣
∣
∣
w
∗
x
i
+
b
∣
>
0
\dfrac{1}{||w||}|w*x_i+b|>0
∣∣w∣∣1∣w∗xi+b∣>0时, 误分类数据
y
i
=
−
1
y_i=-1
yi=−1
1
∣
∣
w
∣
∣
∣
w
∗
x
i
+
b
∣
<
0
\dfrac{1}{||w||}|w*x_i+b|<0
∣∣w∣∣1∣w∗xi+b∣<0时, 误分类数据
y
i
=
+
1
y_i=+1
yi=+1
所以误分类数据
(
x
i
,
y
i
)
(x_i,y_i)
(xi,yi)到超平面的距离为
−
y
i
∣
∣
w
∣
∣
(
w
∗
x
i
+
b
)
-\dfrac{y_i}{||w||}(w*x_i+b)
−∣∣w∣∣yi(w∗xi+b)
取损失函数
L
(
w
,
b
)
=
−
∑
x
i
∈
M
y
i
(
w
∗
x
i
+
b
)
L(w,b)=-\sum_{x_i \in M} y_i(w*x_i+b)
L(w,b)=−∑xi∈Myi(w∗xi+b),其中
M
M
M为误分类点的集合
L
(
w
,
b
)
L(w,b)
L(w,b)的两个偏导
∂
L
∂
w
=
−
∑
x
i
∈
M
y
i
∗
x
i
\frac{\partial L}{\partial w}=-\sum_{x_i \in M} y_i*x_i
∂w∂L=−∑xi∈Myi∗xi
∂
L
∂
b
=
−
∑
x
i
∈
M
y
i
\frac{\partial L}{\partial b}=-\sum_{x_i \in M} y_i
∂b∂L=−∑xi∈Myi
更新w和b
随机选取一个误分类点
(
x
i
,
y
i
)
(x_i,y_i)
(xi,yi)
η
\eta
η为学习率(步长)
0
<
η
≤
1
0<\eta \le 1
0<η≤1
{
w
=
w
+
η
y
i
∗
x
i
b
=
b
+
η
y
i
\begin{cases} &w=w+\eta y_i*x_i \\ &b=b+\eta y_i \end{cases}
{w=w+ηyi∗xib=b+ηyi
可减小损失函数
原始算法
1.选初值
w
0
,
b
0
w_0,b_0
w0,b0
2.选中数据
(
x
I
,
y
i
)
(x_I,y_i)
(xI,yi),
如果
y
i
(
w
∗
x
i
+
b
)
≤
0
y_i(w*x_i+b)\le 0
yi(w∗xi+b)≤0
则
{
w
=
w
+
η
y
i
∗
x
i
b
=
b
+
η
y
i
\begin{cases} &w=w+\eta y_i*x_i \\ &b=b+\eta y_i \end{cases}
{w=w+ηyi∗xib=b+ηyi
3.循环至没有误分类点
内容来源:统计学习方法,李航,