感知机 —— 算法（对偶形式）

算法流程

输入：线性可分的数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋅ ⋅ ⋅ , ( x N , y N ) } T= \left\{ (x_1,y_1), (x_2,y_2),···,(x_N,y_N)\right\} T={(x1​,y1​),(x2​,y2​),⋅⋅⋅,(xN​,yN​)}，其中$x_i\in \chi ={\mathbf{R}}^n$， y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋅ ⋅ ⋅ , N y_i\in Y=\left\{-1,+1\right\},i=1,2,···,N yi​∈Y={−1,+1},i=1,2,⋅⋅⋅,N；学习率$\eta (0<\eta \le 1)$；
输出：$a,b$；感知机模型$$f(x)=sign(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)$$
其中$a=(a_1,a_2,\cdot \cdot \cdot a_N{)}^T$。

• 解的过程：
  （1）$a\leftarrow 0,b\leftarrow 0$；
  （2）在训练集中选取数据$(x_i,y_j)$
  （3）如果$$y_i(w\cdot x_i+b)=y_i(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\le 0$$
  则$$a_i\leftarrow a_i+\eta ,b\leftarrow b+\eta y_i$$
  （4）转至（2）直至没有误分类数据。

• 注
  对偶形式中训练实例仅以内积的形式出现。为了方便，可以预先将训练集中实例间的内积计算出来并以矩阵的形式存储，这个矩阵就是所谓的Gram矩阵
  $$G=[x_i\cdot x_j{]}_{N\ast N}=\left[\begin{array}{c}<x_1\cdot x_1><x_1\cdot x_2>\cdot \cdot \cdot <x_1\cdot x_n>\\ <x_2\cdot x_1><x_2\cdot x_2>\cdot \cdot \cdot <x_2\cdot x_n>\\ \cdot \cdot \cdot \cdot \cdot \cdot \\ \cdot \cdot \cdot \cdot \cdot \cdot \\ \cdot \cdot \cdot \cdot \cdot \cdot \\ <x_n\cdot x_1><x_n\cdot x_2>\cdot \cdot \cdot <x_n\cdot x_n>\end{array}\right]$$

算法示例

例2.2：数据通2.1，其正实例点是$x_1=(3,3{)}^T$，$x_2=(4,3{)}^T$，其负实例点是$x_3=(1,1{)}^T$，试用感知机学习算法的对偶形式求感知机模型。

• 解
  （1）取$a_i=0,i=1,2,3,b=0,\eta =1;$
  （2）计算Gram矩阵：
  $$G=[x_i\cdot x_j{]}_{N\ast N}=\left[\begin{array}{c}<x_1\cdot x_1><x_1\cdot x_2><x_1\cdot x_3>\\ <x_2\cdot x_1><x_2\cdot x_2><x_2\cdot x_3>\\ <x_3\cdot x_1><x_3\cdot x_2><x_3\cdot x_n>\end{array}\right]=\left[\begin{array}{c}3\ast 3+3\ast 33\ast 4+3\ast 33\ast 1+3\ast 1\\ 4\ast 3+3\ast 34\ast 4+3+34\ast 1+3\ast 1\\ 1\ast 3+1\ast 31\ast 3+1\ast 31\ast 1+1\ast 1\end{array}\right]=\left[\begin{array}{c}18216\\ 21257\\ 672\end{array}\right]$$
  （3）误分条件$$y_i(w\cdot x_i+b)=y_i(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\le 0$$
  更新参数 $$a_i\leftarrow a_i+1,b\leftarrow b+y_i$$
  （4）迭代。过程从略见表

$k$	0	1	2	3	4	5	6	7
		$x_1$	$x_3$	$x_3$	$x_3$	$x_1$	$x_3$	$x_3$
$a_1$	0	1	1	1	1	2	2	2
$a_2$	0	0	0	0	0	0	0	0
$a_3$	0	0	1	2	3	3	4	5
$b$	0	1	0	-1	-2	-1	-2	-3

（5）$$w=2x_1+0x_2-5x_3=(1,1{)}^T$$
$$b=-3$$
分离超平面
$$x^{(1)}+x^{(2)}-3=0$$
感知机模型
$$f(x)=sign(x^{(1)}+x^{(2)}-3)$$

• 注：
  与原始形式一样，感知机学习算法的对偶形式迭代是收敛的，存在多个解。