SVM——（六）软间隔目标函数求解

1.什么是软间隔

我们之前谈到过两种情况下的分类：一种是直接线性可分的；另外一种是通过$\varphi (x)$映射到高维空间之后“线性可分”的。为什么后面这个“线性可分”要加上引号呢？这是因为在上一篇文章中有一件事没有和大家交代：虽然通过映射到高维空间的方式能够很大程度上使得原先线性不可分的数据集线性可分，但是我们并不能够一定保证它就是线性可分的，可能这个高维空间依旧线性不可分得换一个（事实上你还是不知道换哪一个更好，所以此时就要折中选择），或者保守的说即使线性可分了，但也可能会有过拟合现象。这是因为超平面对于异常点（outlier)过于敏感。如下图：

在左图，直线A为该数据集下的最优解；但是，此时若出现一个异常点（中图所示），它将导致分类直线发生剧烈的摆动，虽然最终也达到了将数据集分开的效果，但这显然不是我们希望的。我们将其称之为硬间隔(hard margin)，即不允许出现错分的情况，哪怕导致过拟合。所以，我们所期望的就是图右的这种情况：容许少量的错分，从而得到最优解，而这个容忍的则通过代价函数来调节。或者再极端一点就是，根本找不到超平面将其分开（不过拟合的前提下），必须得错分一些点。此时虚线与实现之间的间隔就称之为软间隔(soft margin)。

2.软间隔最大化

此时我们可以知道，如数据集中出现了异常点，必将导致该异常点的函数间隔小于1。所以，此时引入一个松弛变量($\xi >0$)，使得函数加上松弛变量大于等于1.
$$y^{(i)}(w^T{x}^{(i)}+b)\ge 1-{\xi }_i\text{\hspace{1em}(2.1)}$$
那么此时的目标函数可以重新改写为如下形式：

$$\begin{array}{rl}\underset{w,b,\xi }{\min }& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ s.t.& y^{(i)}(w^T{x}^{(i)}+b)\ge 1-{\xi }_i,i=1,2,...m\\ & {\xi }_i\ge 0,i=1,2,...m\end{array}\text{\hspace{1em}(2.2)}$$

其中$C>0$称为惩罚参数，一般由应用问题决定，$C$越大时对误分类的惩罚越大.最小化目标函数(2.2)包含两层含义：使$\frac{1}{2}||w|{|}^2$尽量小，即间隔尽量打，同时使误分类点的个数尽量小，C是调和二者的系数。并且只要错分一个样本点，我们都将付出$C{\xi }_i$的代价。

如先前一样，我们可以将其对应的广义拉格朗日函数写出：
$$\mathcal{L}(w,b,\xi ,\alpha ,r)=\frac{1}{2}{w}^{T}w+C\sum _{i=1}^m{\xi }_i-\sum _{i=1}^m{\alpha }_i\left[y^{(i)}\left(w^T{x}^{(i)}+b\right)-1+{\xi }_i\right]-\sum _{i=1}^m{r}_i{\xi }_i\text{\hspace{1em}(2.3)}$$

其中，${\alpha }_i\ge 0,r_i\ge 0$是拉格朗日乘数(为什么有这个条件，参见此文3.1)

则其对偶问题为：
$$\begin{array}{rl}\underset{\alpha }{\max }& W(\alpha )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{y}^{(i)}{y}^{(j)}{\alpha }_i{\alpha }_j⟨x^{(i)},x^{(j)}⟩\\ s.t.& 0\le {\alpha }_i\le C,i=1,...,m\\ & \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\end{array}\text{\hspace{1em}(2.4)}$$

---

推导：
由$(2.2)$可知：
min ⁡ w , b , ξ 1 2 ∣ ∣ w ∣ ∣ 2 + C ∑ i = 1 m ξ i s . t .      g