SVM推导

个人笔记，非教程

将两类样本用以下超平面进行划分

$$w^{T}x+b=0$$

让所有样本都划分正确

$$w^T{x}_{+}+b\ge 1,x_{+}\in 第一类数据,y_{+}=+1$$
$$w^T{x}_{-}+b\le -1,x_{-}\in 第二类数据,y_{-}=-1$$

目标：找到最靠近划分超平面的数据$x$，$x$到划分超平面的距离$d$，最大化这个距离$d$

$$d=\frac{|w^{T}x+b|}{||w||}$$

$$\max \frac{|w^T{x}_{+}+b|}{||w||}+\frac{|w^T{x}_{-}+b|}{||w||}$$

因为改变$w$的长度来改变$|w^{T}x+b|$的大小，所以我们可以固定$|w^{T}x+b|=1$

$$\max \frac{1}{||w||}+\frac{1}{||w||}=\frac{2}{||w||}$$
等价于
$$\min \frac{1}{2}||w|{|}^2$$

同理可以将划分标准改为
$$w^T{x}_{+}+b\ge +1,x_{+}\in 第一类数据,y_{+}=+1$$
$$w^T{x}_{-}+b\le -1,x_{-}\in 第二类数据,y_{-}=-1$$

上面二式可统一写为
$$y_i(w^T{x}_i+b)\ge 1$$

最终目标

$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$$
$$s.t.y_i(w^T{x}_i+b)\ge 1$$

拉格朗日

$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b))$$
其中
$${\alpha }_i\ge 0,1-y_i(w^T{x}_i+b)\le 0$$

$$\frac{\partial L(w,b,\alpha )}{\partial w}=w+\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
$$\frac{\partial L(w,b,\alpha )}{\partial b}=\sum _{i=1}^N{\alpha }_i{y}_i$$

令偏导为零得

$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$

代回$L(w,b,\alpha )$中得

$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i{)}^T(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j)+\sum _{j=1}^N{\alpha }_j(1-y_j((\sum _{i=1}^N{\alpha }_i{y}_i{x}_i{)}^T{x}_j+b))\\ & =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^N{\alpha }_i{y}_{i}b\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\alpha }_i\end{array}$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,{\alpha }_i\ge 0$$

定义$\theta (w,b)={\max }_{\alpha }L(w,b,\alpha )$

$$\theta (w,b)=\{\begin{array}{l}\frac{1}{2}||w|{|}^2\forall x_i,1-y_i(w^T{x}_i+b)\le 0\\ +\infty \exists x_i,1-y_i(w^T{x}_i+b)>0\end{array}$$

则最终目标

$$\underset{w,b}{\min }\theta (w,b)=\underset{w,b}{\min }\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,{\alpha }_i\ge 0$$

软间隔SVM

采用hinge损失
$${\xi }_i=\max (0,1-y_i(w^T{x}_i+b))$$
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$
$$s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0$$

拉格朗日

$$L(w,b,\alpha ,\xi ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i+\sum _{i=1}^N{\alpha }_i(1-y_i(w^T{x}_i+b)-{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$
其中${\alpha }_i\ge 0$, ${\xi }_i\ge 0$,为拉格朗日乘子

令$L(w,b,\alpha ,\xi ,\mu )$对$w,b,{\xi }_i$的偏导为零可得
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$C={\alpha }_i+{\mu }_i$$
代入$L(w,b,\alpha ,\xi ,\mu )$得原目标函数的对偶问题
$$\underset{\alpha }{\max }\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C$$