感知机学习算法

策略

极小化损失函数：
$$mi{n}_{w,b}^{}L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

原始形式

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\left \{ (x_1,y_1),(x_2,y_2),…,(x_N,y_N) \right \} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}
其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , … , N ; 学习率 η ( 0 < η ≤ 1 ) x_i\in X =\mathbf{R}^{n},y_i\in Y=\left \{ -1,+1 \right \},i=1,2,…,N;学习率\eta (0< \eta \le 1) xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,…,N;学习率η(0<η≤1)
输出：$w,b$;感知机模型$f(x)=sign(w\cdot x+b)$。

步骤：

1. 选取初值$w_0,b_0$
2. 在训练集中选取数据$(x_i,y_i)$
3. 如果$y_i(w\cdot x_i+b)\le 0$,
   $$w\leftarrow w+\eta y_i{x}_i,b\leftarrow b+\eta y_i$$
4. 转至（2），直至训练集中没有误分类点

对偶形式

输入：线性可分的数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\left \{ (x_1,y_1),(x_2,y_2),…,(x_N,y_N) \right \} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}
其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , … , N ; 学习率 η ( 0 < η ≤ 1 ) x_i\in X =\mathbf{R}^{n},y_i\in Y=\left \{ -1,+1 \right \},i=1,2,…,N;学习率\eta (0< \eta \le 1) xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,…,N;学习率η(0<η≤1)
输出：$\alpha ,b$;感知机模型$$f(x)=sign(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$$其中$$\alpha =({\alpha }_1,{\alpha }_2,\dots {\alpha }_n{)}^T$$

步骤：

1. $a\leftarrow 0,b\leftarrow 0$
2. 计算Gram矩阵（预先处理内积）
3. 在训练集中选取数据$(x_i,y_i)$
4. 如果$$y_i(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)\le 0$$有$${\alpha }_i\leftarrow {\alpha }_i+\eta ,b\leftarrow b+\eta y_i$$
5. 转至（3）直到没有误分类数据。