《统计学习方法》（第二章）—— 感知机

感知机模型

• 定义：假设输入空间（特征空间）是$\chi \subseteq R^n$，输出空间是 γ = { + 1 , − 1 } \gamma=\{+1,-1\} γ={+1,−1}.输入$x\in \chi$表示实例的特征向量，对应于输入空间（特征空间）的点；输出y $\in \gamma$表示实例的类别。由输入空间到输出空间的函数如下：
  $f(x)=sign(w\cdot x+b)$ 称为感知机模型，其中$w,b$为感知机的参数，$w\in R^n$ 叫作权值或者权值向量，$b\in R$叫做偏值， $w\cdot x$表示$w,b$的内积.$sign$是符号函数，即
  $sign(x)=\{\begin{array}{ll}+1& x\ge 0\\ -1& x<0\end{array}$

感知机模型学习策略

• 如果$(x_i,y_i)$是正分类点，则$y_i\ast (w\cdot x_i+b)>0$,如果$(x_i,y_i)$是误分类点，则$y_i\ast (w\cdot x_i+b)\le 0$
  定义：$L(w,b)=-\sum _{x_i\in M}{y}_i\ast (w\cdot x_i+b)$,其中$M$是误分类点集合，即误分类点到超平面的距离

感知机学习算法

• 这里我们采用梯度下降法
  ${\nabla }_{w}L(w.b)=-\sum _{x_i\in M}{y}_i\ast x_i$
  ${\nabla }_{b}L(w.b)=-\sum _{x_i\in M}{y}_i$
  $w=w+\eta \ast y_i\ast x_i$
  $b=b+\eta \ast y_i$,其中$\eta$为学习率
• 算法：
  (1) 输入：训练数据集合 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2)...(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​)...(xN​,yN​)},其中 x i ∈ χ = R n , y i ∈ γ = { − 1 , + 1 } , x_i \in \chi=R^n,y_i \in\gamma=\{-1,+1\}, xi​∈χ=Rn,yi​∈γ={−1,+1},
  $i=1,2...N;$学习率为$\eta (0<\eta \le 1)$，输出：$w,b;f(x)=sign(w\cdot x+b)$
  (2)在训练集中选取数据$(x_i,y_i)$
  (3)如果$y_i\ast (w\cdot x_i+b)\le 0$
       $w=w+\eta \ast y_i\ast x_i$
       $b=b+\eta \ast y_i$
  (4)转至(2),直到算法结束没有误分类点
• 算法的收敛性证明：
    训练数据集合 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2)...(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​)...(xN​,yN​)},为线性可分，其中 x i ∈ χ = R n , y i ∈ γ = { − 1 , + 1 } , i = 1 , 2... N ; x_i \in \chi=R^n,y_i \in\gamma=\{-1,+1\},i=1,2...N; xi​∈χ=Rn,yi​∈γ={−1,+1},i=1,2...N;则
    存在满足条件$\Vert {\hat{w}}_{opt}\Vert =1$的超平面${\hat{w}}_{opt}\cdot \hat{x}+b_{opt}=0$将训练数据集完全正确分开;且存在$\gamma >0$.对所有
    $i=1,2,..N$
    $y_i\ast ({\hat{w}}_{opt}\cdot \hat{x})=y_i\ast (w_{opt}\cdot x+b_{opt})\ge \gamma$
    令$R=max\Vert {\hat{x}}_{opt}\Vert$,则感知机算法，在训练集上的误分类次数$k$满足
    $k\le (\frac{R}{\gamma }{)}^2$
  • 证明：
    (1)
      取${\hat{w}}_{opt}$,则${\hat{w}}_{opt}\ast x=w_{opt}\cdot x+b_{opt}=0$,使$\Vert w_{opt}\Vert =1$，由于对有限的$i=1,2,....N$，均有
        $y_i\ast ({\hat{w}}_{opt}\cdot \widehat{x_i})=y_i\ast (w_{opt}\cdot x_i+b_{opt})>0$
        所以存在 γ = m i n i { y i ∗ ( w o p t ⋅ x i + b o p t ) } \gamma=min_i\{y_i*(w_{opt}\cdot{x_i}+b_{opt})\} γ=mini​{yi​∗(wopt​⋅xi​+bopt​)}
        $y_i\ast ({\hat{w}}_{opt}\cdot \widehat{x_i})=y_i\ast (w_{opt}\cdot x_i+b_{opt})\ge \gamma$
    (2)因为感知机是从$\widehat{w_0}=0$开始，如果被误分类，则跟新权重。令${\hat{w}}_{k-1}$是第k个误分类的扩充向量，
        ${\hat{w}}_{k-1}=(w_{k-1}^T,b_{k-1}{)}^T$
        则第k个误分类实例条件是$y_i\ast ({\hat{w}}_{k-1}\cdot x_i+b_{k-1})\le 0$
        证明两个不等式：
        1).${\hat{w}}_k\cdot {\hat{w}}_{opt}\ge k\ast \eta \ast \gamma$
        ${\hat{w}}_k\cdot {\hat{w}}_{opt}={\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta \ast y_i\cdot {\hat{x}}_i\ge {\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta \ast \gamma$.我们不断的递推
        ${\hat{w}}_k\cdot {\hat{w}}_{opt}\ge {\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta \ast \gamma \ge {\hat{w}}_{k-2}\cdot {\hat{w}}_{opt}+2\ast \eta \ast \gamma \ge ....\ge k\ast \eta \gamma$
        2)$\Vert w_k\Vert$${}^2\le k\ast {\eta }^2\ast R^2$
        $\Vert w_k{\Vert }^2$$=\Vert w_{k-1}{\Vert }^2+2\ast \eta \ast y_i\ast {\hat{w}}_{k-1}\cdot {\hat{x}}_i+{\eta }^2\ast \Vert {\hat{x}}_i\Vert \le \Vert w_{k-1}{\Vert }^2$$+{\eta }^2\ast \Vert {\hat{x}}_i\Vert \le \Vert w_{k-1}{\Vert }^2$$+{\eta }^2\ast R\le$$\Vert w_{k-2}{\Vert }^2$$+2\ast {\eta }^2\ast R\le ....\le k\ast {\eta }^2\ast R^2$
        证明完毕，结合以上两个不等式
        $k\ast \eta \ast \gamma \le {\hat{w}}_k\cdot {\hat{w}}_{opt}\le ||{\hat{w}}_k||\ast ||{\hat{w}}_{opt}||\le \sqrt{k}\ast \eta \ast R$
        $k^2{\gamma }^2\le k\ast R^2$
        $k\le (\frac{R}{\gamma }{)}^2$,完毕
• 对偶形式
       $w=w+\eta \ast y_i\ast x_i$
       $b=b+\eta \ast y_i$
       $w=\sum _{i=1}^N{a}_i\ast y_i\ast x_i$
       $b=\sum _{i=1}^N{a}_i\ast y_i$
       其中$N$为训练数据数量,$a_i=n_i\ast \eta \ge 0$
  • 算法：
        (1) 输入：训练数据集合 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2)...(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​)...(xN​,yN​)},其中$x_i\in \chi =R^n,$
        y i ∈ γ = { − 1 , + 1 } , 输 出 a . b . f ( x ) = s i g n ( ∑ j = 1 N a j ∗ y j ∗ x j ⋅ x + b ) . a = ( a 1 , a 2 , . . . , a n ) y_i \in\gamma=\{-1,+1\},输出a.b.f(x)=sign(\sum\limits_{j=1}^Na_j*y_j*x_j\cdot{x}+b).a=(a_1,a_2,...,a_n) yi​∈γ={−1,+1},输出a.b.f(x)=sign(j=1∑N​aj​∗yj​∗xj​⋅x+b).a=(a1​,a2​,...,an​)
        $i=1,2...N;$学习率为$\eta (0<\eta \le 1)$
        (2)在训练集中选取数据$(x_i,y_i)$
        (3)如果$sign(\sum _{j=1}^N{a}_j\ast y_j\ast x_j\cdot x_i+b)\le 0$
              $a_i=a_i+\eta$
              $b=b+\eta \ast y_i$
       (4)转至(2),直到算法结束没有误分类点
• Gram矩阵:$G=[x_i\cdot x_j{]}_{N\times N}$

实现代码后续补上