SVM详解(二)线性支持向量机与软间隔最大化

1. 线性支持向量机

我们介绍了线性可分支持向量机模型，我们适用硬间隔最大化算法学得最好的分离超平面，但是该模型只适用于训练数据集是线性可分的情况，对于线性不可分训练数据集并不适用。通常情况下，线性不可分训练数据集，往往有一些特异点，将这些特异点去除之后，剩下大部分的样本点组成的集合是线性可分的，根据这个特性，我们允许一些特异点不满足函数间隔大于等于$1$(即$y_i(w\cdot x_i+b)-1\ge 0$)的约束条件 ，来使用支持向量机达到分类训练数据集的目的。

为此，我们为训练数据集$T$的每个样本点$(x_i,y_i)$都引入一个松弛变量${\xi }_i\ge =0$ ，使得函数间隔加上松弛变量，能满足间隔大于等于$1$的约束条件，即$y_i(w\cdot x_i+b)+{\xi }_i-1\ge 0$ 即

$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$$

• 怎么理解这件事情呢，为了方便描述，我们将上面的式子两边同时除以$||w||$，得到

  $$y_i(\frac{w\cdot x_i+b}{||w||})+\frac{{\xi }_i}{||w||}\ge \frac{1}{||w||}$$

  如下图所示，红色圆圈和五角星为特异点，白色则为正常的训练数据点

1. 对于图中的点$1$，其位于间隔边界内部，且能够被正确分类，其距离分离超平面的距离可表示为为$y_i(\frac{w\cdot x_i+b}{||w||})$ ，我们通过对该点添加松弛变量${\xi }_1$，使得$y_i(\frac{w\cdot x_i+b}{||w||})+\frac{{\xi }_i}{||w||}\ge \frac{1}{||w||}$成立，即可以看做是将点沿$w$所在直线方向朝正确分类的一侧移动至间隔边界上或者间隔边界外。 至少应移动$\frac{{\xi }_1}{||w||}$至间隔边界上，此时有$0<{\xi }_1<1$
2. 对于图中的点$2$，其位于分离超平面上，则其距离分离超平面的距离可表示为为$y_i(\frac{w\cdot x_i+b}{||w||})=0$ ，我们通过对该点添加松弛变量${\xi }_2$，使得$y_i(\frac{w\cdot x_i+b}{||w||})+\frac{{\xi }_i}{||w||}\ge \frac{1}{||w||}$成立，即可以看做是将点沿$w$所在直线方向朝正确分类的一侧移动至间隔边界上或者间隔边界外。至少应移动$\frac{{\xi }_2}{||w||}$至间隔边界上，此时有${\xi }_2=1$
3. 对于图中的点$3$，被错误分类，其距离分离超平面的距离可表示为为$-y_i(\frac{w\cdot x_i+b}{||w||})$ ，我们通过对该点添加松弛变量${\xi }_3$，使得$y_i(\frac{w\cdot x_i+b}{||w||})+\frac{{\xi }_i}{||w||}\ge \frac{1}{||w||}$成立，即可以看做是将点沿$w$所在直线方向朝正确分类的一侧移动至间隔边界上或者间隔边界外。至少应移动$\frac{{\xi }_3}{||w||}$至间隔边界上，此时有${\xi }_3>1$
4. 对于图中的点$4$，其位于间隔边界外部，且能够被正确分类，其距离分离超平面的距离可表示为为$y_i(\frac{w\cdot x_i+b}{||w||})$ ，从图中可知，该点已经满足$y_i(\frac{w\cdot x_i+b}{||w||})\ge \frac{1}{||w||}$成立，此时有${\xi }_4=0$

通过引入松弛变量的几何意义解释，我们可以认为，松弛变量${\xi }_i$表征了样本点$(x_i,y_i)$ 如果是特异点的话，需要多少距离，才能被正确分类。

我们需要对每个松弛变量${\xi }_i$，支付一个代价${\xi }_i$，目标函数由原来的$\frac{1}{2}||w|{|}^2$ 变成了

$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i，C>0[1.1]$$

这里的$C\sum _{i=1}^N{\xi }_i$其实就是正则项，$C$ 称为惩罚参数，一般由应用问题决定，$C$值大时对误分类的惩罚增大，$C$值小时对误分类的惩罚减小，最小化$[1.1]$ 其实就是使$\frac{1}{2}||w|{|}^2$尽可能小即间隔尽量大，同时使误分类点的个数尽量小，$C$则是调和二者的系数。

基于上面的思路，我们得到了线性不可分的线性支持向量机的学习最优化问题:

$$\underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i，[1.2]$$

$$\begin{array}{rl}s.t.& y_i(w\cdot x_i+b)\ge 1-{\xi }_i，i=1,2,\cdots ,N[1.3]\\ & {\xi }_i\ge 0，i=1,2,\cdots ,N[1.4]\end{array}$$

将这个问题作为原始问题，其仍是一个凸二次规划问题。相比于线性可分支持向量机的硬间隔最大化，我们将线性不可分的线性支持向量机学习问题称为软间隔最大化。显然，线性支持向量机是包含线性可分支持向量机的，由于现实中训练数据集往往是线性不可分的，因此线性支持向量机具有更广的适用性。

• 线性支持向量机定义

  对于给定的线性不可分的训练数据集，通过求解凸二次规划问题，即软间隔最大化问题$[1.2]\sim [1.4]$，得到的分离超平面为$$w^{\ast }\cdot x+b^{\ast }=0$$

  以及相应的分类决策函数

  $$f(x)=sign(w^{\ast }\cdot x+b^{\ast }=0)$$

  称为线性支持向量机

2. 学习的对偶算法

参照线性可分支持向量机，我们依然通过对偶问题来解线性支持向量机的原始问题$[1.2]\sim [1.4]$。

首先构建拉格朗日函数，为：

$$\begin{array}{rl}L(w,b,\xi ,\alpha ,\mu )& =\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i[y_i(w\cdot x_i+b)-1+{\xi }_i]-\sum _{i=1}^N{\mu }_i{\xi }_i\\ & =\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i+\sum _{i=1}^N(C-{\alpha }_i-{\mu }_i){\xi }_i[2.1]\end{array}$$

其中，${\alpha }_i\ge 0,{\mu }_i\ge 0$

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：

$$\underset{\alpha ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\alpha )$$

所以，为了得到对偶问题的解，需要先求$L(w,b,\xi ,\alpha ,\mu )$ 对$w,b,\xi$的极小，再求对$\alpha ,\mu$的极大，

$(1)$ 求$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$

将拉格朗日函数$L(w,b,\xi ,\alpha ,\mu )$ 分别对$w,b$ 求偏导并令其等于$0$，得到

$$\{\begin{array}{l}{\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ {\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-\sum _{i=1}^N{\alpha }_i{y}_i=0\\ {\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0\end{array}$$

得

$$\begin{array}{rl}& w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\end{array}$$

将上式带入拉格朗日函数$[2.1]$ ，得到

$$\begin{array}{rl}L(w,b,\xi ,\alpha ,\mu )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i{y}_i[(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j)\cdot x_i+b]+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\end{array}$$

即

$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

$(2)$ 由于$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$ 中没有参数$\mu$了，因此只需求$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$ 对$\alpha$的极大，即是对偶问题

$$\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

$$\begin{array}{rl}s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i\ge =0,i=1,2,\cdots ,N\\ & {\mu }_i\ge =0,i=1,2,\cdots ,N\end{array}$$

该问题等价为

$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$

$$\begin{array}{rl}s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array}$$

可以看出，线性支持向量机和线性可分支持向量机的对偶算法，就只有对偶变量的不等式约束条件不一样，前者是$0\le {\alpha }_i\le C$ ，后者是$0\le {\alpha }_i$ 。

原始问题的解应满足$KKT$条件，得到：

$$\{\begin{array}{l}{\nabla }_{w}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0\\ {\nabla }_{b}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0\\ {\nabla }_{{\xi }_i}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=C-{\alpha }_i^{\ast }-{\mu }_i^{\ast }=0[2.2]\\ {\alpha }_i^{\ast }(y_i(w^{\ast }\cdot x_i+b^{\ast })-1+{\xi }_i^{\ast })=0[2.3]\\ y_i(w^{\ast }\cdot x_i+b^{\ast })-1+{\xi }_i^{\ast }\ge 0\\ {\mu }_i^{\ast }{\xi }_i^{\ast }=0\\ {\alpha }_i^{\ast }\ge 0\\ {\xi }_i^{\ast }\ge 0\\ {\mu }_i^{\ast }\ge 0,i=1,2,\cdots ,N\end{array}$$

由此得

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

其中至少有一个$0<{\alpha }_j<C$（用反证法，假设${\alpha }^{\ast }=0$，则$w^{\ast }=0$，很显然$w^{\ast }=0$不是原始最优化问题的解，产生矛盾），对此$j$有

$$y_i(w^{\ast }\cdot x_j+b^{\ast })-1+{\xi }_j^{\ast }=0$$

$C-{\alpha }_j^{\ast }-{\mu }_j^{\ast }=0$ ，且${\mu }_j^{\ast }{\xi }_j^{\ast }=0$

由于$0<{\alpha }_j<C$ 可知${\mu }_j^{\ast }=C-{\alpha }_j^{\ast }$ ，由于${\mu }_j^{\ast }{\xi }_j^{\ast }=0$

所以有${\xi }_j^{\ast }=0$

此时

$$y_i(w^{\ast }\cdot x_j+b^{\ast })-1=0$$

上式两边同时乘以$y_j$

$$y_j^2(w^{\ast }\cdot x_j+b^{\ast })-y_j=0$$ 根据$y_j^2=1$ 可解得

$$b^{\ast }=y_j-w^{\ast }\cdot x_j=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$

至此，我们解出了$w^{\ast }$和$b^{\ast }$的值，则最大间隔分离超平面为

$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_j)+b^{\ast }=0$$

分类决策函数可以写成

$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_j)+b^{\ast })$$

综上所述，我们得到了线性支持向量机的对偶学习算法，描述如下

• 算法2: 线性支持向量机的对偶学习算法

  输入：线性数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中， x i ∈ χ = R n ， y i ∈ Y = { − 1 , 1 } , i = 1 , 2 , ⋯   , N ; x_i \in \chi=R^n，y_i \in Y=\{-1,1\},\quad i=1,2,\cdots,N; xi​∈χ=Rn，yi​∈Y={−1,1},i=1,2,⋯,N;

  输出：分离超平面和分类决策函数

  $(1)$选择惩罚参数$C>0$，构造并求解凸二次规划问题：

  $$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$

  $$\begin{array}{rl}s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array}$$

  求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$

  $(2)$ 计算

  $$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

  并选择${\alpha }^{\ast }$的一个正分量$a_j^{\ast }>0$适合条件$0<{\alpha }_j^{\ast }<C$，计算

  $$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$

  对任一适合条件$0<{\alpha }_j^{\ast }<C$的$a_j^{\ast }$ ，均能按上式求出$b^{\ast }$， 但是不同的样本点计算出的$b^{\ast }$ 并不一致，所以一般在所有满足条件的样本点上都计算$b$，然后求平均值作为$b^{\ast }$的最终值。

  $(3)$ 求得分离超平面

  $$w^{\ast }\cdot x+b^{\ast }=0$$

  分类决策函数

  $$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$

3. 支持向量

在线性不可分的情况下，将对偶问题的解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$中对应于${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$的实例$x_i$称为软间隔的支持向量。有上述求解$w^{\ast }$和$b^{\ast }$的过程可知，线性支持向量机仍只与支持向量有关。

求解过程中的$KKT$ 条件中，需要满足

$${\alpha }_i^{\ast }(y_i(w^{\ast }\cdot x_i+b^{\ast })-1+{\xi }_i^{\ast })=0$$，对于支持向量，该式子可写成

$$y_i(w^{\ast }\cdot x_i+b^{\ast })-1+{\xi }_i^{\ast }=0$$ 即

$$y_i(w^{\ast }\cdot x_i+b^{\ast })=1-{\xi }_i^{\ast }$$

根据该式可知软间隔的支持向量$x_i$ 要么在间隔边界上，要么在间隔边界与分离超平面之间，要么在分离超平面误分一侧。 若$a_i^{\ast }<C$，则${\xi }_i=0$ (上面根据$KKT$条件求解$b^{\ast }$时有证明)，此时有$y_i(w^{\ast }\cdot x_i+b^{\ast })=1$ 则支持向量$x_i$恰好落在间隔边界上；若$a_i^{\ast }=C,0<{\xi }_i<1$，此时有 $y_i(w^{\ast }\cdot x_i+b^{\ast })=1-{\xi }_i\in (0,1)$，则分类正确，$x_i$在间隔边界与分离超平面之间；若$a_i^{\ast }=C,{\xi }_i=1$，此时有 $y_i(w^{\ast }\cdot x_i+b^{\ast })=0$，则$x_i$在分离超平面上；若$a_i^{\ast }=C,{\xi }_i>1$，此时有$y_i(w^{\ast }\cdot x_i+b^{\ast })=1-{\xi }_i\in (-\infty ,0)$ 则$x_i$位于分离超平面误分类一侧。这和我们在开篇引入松弛变量${\xi }_i$时的几何解释是一致的。

至此我们完成了线性支持向量机的算法介绍，线性支持向量机可以从多个角度进行解释，感兴趣的同学可以自行查阅相关资料。

当然，还有很多训练数据，属于非线性可分的情况，我们需要找到一个合适的超曲面来实现数据分类，我们如果处理这类数据呢？下一篇，我们将介绍SVM使用核函数处理非线性可分的情况。

本文参考李航老师的《统计学习方法》