感知机模型

定义:输入为$x\in R^n$,输出为 y ∈ { − 1 , 1 } y \in \{-1,1\} y∈{−1,1},$x$为空间的特征向量,对应于输入空间(特征空间)的点,输出的y表示实例的类别函数$f(x)=sign(w\ast x+b)$称为感知机
$w\in R^n$称为权值向量(weight vector),b称为偏置(bias),
$$sign(x)=\{\begin{array}{ll}1& \text{x>=0}\\ -1& \text{x<0}\end{array}$$

数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x n , y n ) } T=\{(x_1,y_1),(x_2,y_2)...(x_n,y_n)\} T={(x1​,y1​),(x2​,y2​)...(xn​,yn​)}
对所有的$y_i=1$都有$w\ast x_i+b>0$,
对所有的$y_i=-1$都有$w\ast x_i+b<0$
则称数据集$T$可分

超平面

线性方程$w\ast x_i+b=0$形成一个超平面,$b$称为超平面的截距,w为超平面的法向量

损失函数

点$x_0$到超平面的距离为$\frac{1}{||w||}|w\ast x_0+b|$
$||w||$为$w$的$L_2$范数
$\frac{1}{||w||}|w\ast x_i+b|>0$时, 误分类数据$y_i=-1$
$\frac{1}{||w||}|w\ast x_i+b|<0$时, 误分类数据$y_i=+1$
所以误分类数据$(x_i,y_i)$到超平面的距离为
$-\frac{y_i}{||w||}(w\ast x_i+b)$
取损失函数$L(w,b)=-{\sum }_{x_i\in M}{y}_i(w\ast x_i+b)$,其中$M$为误分类点的集合
$L(w,b)$的两个偏导
$\frac{\partial L}{\partial w}=-{\sum }_{x_i\in M}{y}_i\ast x_i$
$\frac{\partial L}{\partial b}=-{\sum }_{x_i\in M}{y}_i$

更新w和b

随机选取一个误分类点$(x_i,y_i)$
$\eta$为学习率(步长)
$0<\eta \le 1$
$$\{\begin{array}{ll}& w=w+\eta y_i\ast x_i\\ & b=b+\eta y_i\end{array}$$

可减小损失函数

原始算法

1.选初值$w_0,b_0$
2.选中数据$(x_I,y_i)$,
如果$y_i(w\ast x_i+b)\le 0$
则

$$\{\begin{array}{ll}& w=w+\eta y_i\ast x_i\\ & b=b+\eta y_i\end{array}$$
3.循环至没有误分类点

内容来源:统计学习方法,李航,