统计学习方法第二章

感知机

感知机的收敛性(Novikoff定理 证明见书)

线性可分的情况下有限次搜索可以找到将训练数据完全分开的分离超平面

设训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={ (x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)} 是线 性可分的, 其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X}=\mathbf{R}^{n}, y_{i} \in \mathcal{Y}=\{-1,+1\}, i=1,2, \cdots, N xi​∈X=Rn,yi​∈Y={ −1,+1},i=1,2,⋯,N, 则

( 1 ) 存在满足条件 $\Vert {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\Vert =1$ 的超平面 ${\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot \hat{x}=w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x+b_{\mathrm{o}\mathrm{p}\mathrm{t}}=0$ 将训练数
据集完全正确分开; 且存在 $\gamma >0$, 对所有 $i$