支持向量机 task3

支持向量机 ——周志华西瓜书 笔记

1. 间隔与支持向量

   给点训练样本集 D = { ( x 1 , y 2 , . . . , ( x m , y m ) ) } , y ∈ { − 1 , + 1 } D=\{(x_1, y_2, ..., (x_m, y_m))\}, y\in \{-1, +1\} D={ (x1​,y2​,...,(xm​,ym​))},y∈{ −1,+1}， 分类学习最基本的想法就是基于训练集$D$在样本空间中找到一个划分超平面，将不同类别的样本分开。需要划分超平面对训练样本局部扰动的“容忍”性最好，最鲁棒的， 对未见示例的泛化能力 最强。
   
   ​ 在样本空间中， 划分超平面可通过如下线性方程来描述：
   $$w^{T}x+b=0\text{\hspace{1em}(1)}$$
   其中$w=(w_1,w_2,...;w_d)$为法向量， 决定了超平面的方向， $b$为位移项， 决定了超平面与原点之间的距离。
   $$r=\frac{|w^{T}x+b|}{||w||}\text{\hspace{1em}(2)}$$
   ​ 假设超平面$(w,b)$能将训练样本正确分类，即对于$(x_i,y_i)\in D$， 若$y_i=+1$, 则有$w^T{x}_i+b>0$; 若$y_i=-1$, 则有$w^T{x}_i+b<0$， 令
   $$\begin{gathered} w^T{x}_i+b\ge +1,y_i=+1; \\ {w}^T{x}_i+b\le \end{gathered}$$