支持向量机

支持向量机

作者：$little-xu$

时间：$2021/1/20$

间隔与支持向量

最大间隔超平面

我们有样本训练集 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x i , y i ) } , y i ∈ { − 1 , + 1 } \{(x_1,y_1),(x_2,y_2),\cdots,(x_i,y_i)\},y_i \in \{-1,+1\} {(x1​,y1​),(x2​,y2​),⋯,(xi​,yi​)},yi​∈{−1,+1}，不妨我们用正例描述$+1$，负例来描述$-1$,在高维度我们寻找一个平面将将正例和负例划分开来

从二维扩展到多维空间中时，将 $D_1$和 $D_2$完全正确地划分开的$wx+b=0$就成了一个超平面。

那怎么去确定这样的鲁棒性平面呢?

正例有边界线，负例也有边界，将最外围的点连线，就变成一个凸集。也就是他的边界线

• ##### 两类样本分别分割在该超平面的两侧

• ##### 超平面到正例和反例的边界线距离之和最大

此处细品超平面到边界线距离：训练集$T$中正例(负例)到超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的几何间隔最小值

几何间隔

$$\begin{array}{r}{\gamma }_i=y_i(\frac{w{x}_i+b}{\Vert w\Vert })\end{array}$$

疑惑：此处$y_i$是来捣蛋的？

解疑：

$$\begin{array}{r}\{\begin{array}{l}{w}^T{x}_i+b\ge +1(正例边界)，y_i=+1\\ w^T{x}_i+b\le -1(负例边界)，y_i=-1\end{array}\end{array}$$

这个又是是什么嘞？

$wx+b=1$是我们正例边界切平面，我们将正例中任意一个样本$(x_{正},y_{正})$带入$y=wx+b-1$得到$y\ge 0$,即$wx+b-1\ge 0$,负例也是如此

由小学知识可知，距离是没有负数的。当$y_i$为正例时，$\begin{array}{r}{\gamma }_i=(\frac{w{x}_i+b}{\Vert w\Vert })\end{array}$，当$y_i$为反例时，$\begin{array}{r}{\gamma }_i=-(\frac{w{x}_i+b}{\Vert w\Vert })\end{array}$，所以我们这里用$y_i$抵消$+1,-1$造成的影响

范数科普

平面$w_{1}x+w_{2}y+b=0$,数据$(x_0,y_0)$到平面距离

$$\begin{array}{rl}d& =\frac{|w_1{x}_0+w_2{y}_0+b|}{\sqrt{w_1^2+w_2^2}}\\ & =\frac{|w_1{x}_0+w_2{y}_0+b|}{\Vert w\Vert }\end{array}$$

目标规划

此处细品超平面到边界线距离：训练集$T$中正例(负例)到超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的几何间隔至少是$\gamma$

$$\begin{array}{rl}& \underset{w,b}{\max }{\gamma }_{正}+{\gamma }_{负}\\ & s.t.y_i(\frac{w{x}_i+b}{\Vert x\Vert })\end{array}$$

由解疑中的边界切线$wx+b=\pm 1$转化成了

$$\begin{array}{rl}& \underset{w,b}{\max }\frac{1}{\Vert w\Vert }+\frac{1}{\Vert w\Vert }=\frac{2}{\Vert w\Vert }\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,m.\end{array}$$

由线性规划在约束条件$s.t.$下让$w$取得最小值，等价于

$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,m.\end{array}$$

对偶问题