SVM算法（四）接近线性可分的SVM求解

一、接近线性可分的SVM问题的提出

在前文SVM算法（二）线性可分的SVM求解中，详细推导了对线性可分数据的超平面划分原理，同时也抛出了一个问题：若数据线性不可分，该如何处理？
本文将该问题进行一定程度的弱化，若数据接近线性可分，该如何求得合适的分隔面？
一种直观上的想法是：尽量保证原始线性可分数据的正确性，对分隔错误的样本点进行惩罚，即：$$\begin{array}{rl}& \min \frac{1}{2}{w}^2+C[[y_i(w{x}_i+b)<1]]\\ & s.t.y_i(w{x}_i+b)\ge 1\end{array}$$该问题难以求解，不妨转换下思路：松弛样本点对分割面的距离要求，同时对松弛程度进行惩罚，即：$$\begin{array}{rl}& \min \frac{1}{2}{w}^2+C\sum _{i=1}^n{\xi }_i\\ & s.t.y_i(w{x}_i+b)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0\end{array}$$式中${\xi }_i$即为对每个点间隔的松弛度，而$C(C>0)$为对松弛度的惩罚系数。通过这种设置，允许分隔面离部分点近（超过1），甚至划分错误。对应于线性可分中的硬间隔(hard margin)，这里的间隔称为软间隔（soft margin）。

二、接近线性可分的SVM问题的原始问题和对偶问题

与线性可分的SVM问题类似，构造广义拉格朗日朗日函数：$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}{w}^2+C\sum _{i=1}^n{\xi }_i+\sum _i^n{\alpha }_i(1-{\xi }_i-y_i(w{x}_i+b))-\sum _{i=1}^n{\mu }_i{\xi }_i,\alpha \ge 0,\mu \ge 0,\xi \ge 0$$原始问题可表示为：$$\underset{w,b,\xi }{\min }\underset{\alpha ,\mu }{\max }L(w,b,\xi ,\alpha ,\mu )$$对偶问题可表示为 $$\underset{\alpha ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$$根据使得原始问题和对偶问题解相同的KKT条件，最优解$w^{\ast },b^{\ast },{\xi }^{\ast }$满足：$$\begin{array}{rl}& {\nabla }_{w^{\ast }}L(w^{\ast },b^{\ast },{\xi }^{\ast },\alpha ,\mu )=w^{\ast }-\sum _{i=1}^n{\alpha }_i{x}_i{y}_i=0\\ & {\nabla }_{b^{\ast }}L(w^{\ast },b^{\ast },{\xi }^{\ast },\alpha ,\mu )=\sum _{i=1}^n{\alpha }_i{y}_i=0\\ & {\nabla }_{{\xi }^{\ast }}L(w^{\ast },b^{\ast },{\xi }^{\ast },\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i(1-{\xi }_i^{\ast }-y_i(w^{\ast }{x}_i+b^{\ast }))=0\\ & 1-{\xi }_i^{\ast }-y_i(w^{\ast }{x}_i+b^{\ast })\le 0\\ & {\alpha }_i\ge 0\\ & {\mu }_i{\xi }_i^{\ast }=0\\ & {\xi }_i^{\ast }\ge 0\\ & {\mu }_i\ge 0\end{array}$$将这些条件代入对偶问题：$$\begin{array}{rl}& \underset{w^{\ast },b^{\ast },{\xi }^{\ast }}{\min }L(w^{\ast },b^{\ast },{\xi }^{\ast },\alpha ,\mu )\\ =& \frac{1}{2}{w}^{\ast 2}+(C-{\alpha }_i-{\mu }_i)\sum _{i=1}^n{\xi }_i^{\ast }+\sum _{i=1}^n{\alpha }_i-w^{\ast }\sum _{i=1}^n{\alpha }_i{x}_i{y}_i-b^{\ast }\sum _{i=1}^n{\alpha }_i{y}_i\\ =& -\frac{1}{2}{w}^{\ast 2}+\sum _{i=1}^n{\alpha }_i\end{array}$$因此，对偶问题可改写为:$$\begin{array}{rl}& \underset{\alpha ,\mu }{\max }\underset{w^{\ast },b^{\ast },{\xi }^{\ast }}{\min }L(w^{\ast },b^{\ast },{\xi }^{\ast },\alpha ,\mu )\\ & =\underset{C\ge {\alpha }_i\ge 0,{\mu }_i=C-{\alpha }_i}{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i{x}_j)-\sum _{i=1}^n{\alpha }_i\end{array}$$这是个典型的二次规划问题，可求解最优的${\alpha }_i$，从而得到：$$w^{\ast }=\sum _{i=1}^n{\alpha }_i{x}_i{y}_i$$至于如何求得最优的$b^{\ast }$，可观察两个对偶互补条件$$\begin{array}{rl}& {\mu }_i{\xi }_i^{\ast }=0\\ & {\alpha }_i(1-{\xi }_i^{\ast }-y_i(w^{\ast }{x}_i+b^{\ast }))=0\end{array}$$若取某个点$k$，其满足$0<{\alpha }_k<C$，则$0<{\mu }_k=C-{\alpha }_k<C$，此时${\xi }_k^{\ast }=0$，这意味着分隔面能够争取分类（无须添加额外的松弛项$\xi$），所以：$$b^{\ast }=y_k-w^{\ast }{x}_k$$最终用于判断新样本点分类的函数可表示为：$$sign(\sum _{i=1}^n{\alpha }_i{y}_i(x_i\ast x)+b^{\ast })$$
上述最优解，与线性可分的SVM结果非常类似，只是由于引入了软间隔参数$\xi$，所以对偶问题参数$\alpha$不光需要大于0，还受到上限$C$的约束。
同样的，通过引入核技巧，上述推导可拓展到非线性特征空间内SVM问题。

三、接近线性可分的SVM中的三类点

基于接近线性可分的SVM对偶问题中的松弛条件，可判断数据点和分隔超平面的三种关系：
$$\begin{array}{rl}& {\mu }_i{\xi }_i=0\\ & {\alpha }_i(1-{\xi }_i-y_i(w{x}_i+b))=0\end{array}$$

（1）${\alpha }_i=0,{\mu }_i=C,{\xi }_i=0,y_i(w{x}_i+b)\ge 1$。对应于分隔争取的远离软间隔区域内的点，如上图中的判断争取的“x”和“o”
（2）$C>{\alpha }_i>0,C>{\mu }_i>0,{\xi }_i=0,y_i(w{x}_i+b)=1$。软间隔线上的点，如上图中的方框点。
（3）${\alpha }_i=C,{\mu }_i=0,{\xi }_i>0,y_i(w{x}_i+b)=1-{\xi }_i$。分隔错误的点，如上图中三角形内点。
这意味着${\alpha }_i$的取值范围决定了数据点与分隔面的空间关系。