机器学习算法——支持向量机(2)

1.知识回顾

  在前一篇文章中，我们讨论了当数据线性可分的情况下的支持向量机模型，根据几何间隔最大给出了线性可分支持向量机的原始最优化问题的数学表达式：
$$\begin{gathered} {}_{\mathbf{w},b}^{min}\frac{1}{2}||\mathbf{w}|{|}^2 \\ s.t.y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)-1\ge 0 \end{gathered}$$以及原始问题的对偶问题的表达式：
$$\begin{gathered} {}_{\mathbf{\alpha }}^{min}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0 \end{gathered}$$接下来，在本篇文章中我们主要讨论当数据近似线性可分时的支持向量机模型的推导与求解，我们把这种情况下的支持向量机叫做线性支持向量机。

2.线性支持向量机

  先来看一下什么叫数据近似线性可分，如下图所示，蓝色圆点和红色圆点分别代表正类和负类，显然我们不能找到一个线性的分离超平面将这两类完全正确的分开；但是如果将数据中的某些特异点(黑色箭头指向的点)去除之后，剩下的大部分样本点组成的集合是线性可分的，这样的数据就叫做近似线性可分。

  线性可分支持向量机对近似线性可分的数据是不适用的，因为有些样本点无法满足其$y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)-1\ge 0$的约束条件，即某些样本点不能满足函数间隔大于1。为了解决这个问题，需要将硬间隔最大化修改为软间隔最大化。具体地，可以对每个样本点$({\mathbf{x}}_i,y_i)$引进一个松弛变量${\xi }_i\ge 0$,使得函数间隔加上松弛变量大于等于1，同时应对每个松弛变量进行惩罚。这样的设置可以说是放低了分类的要求，因为此时可以允许样本点的函数间隔小于1，也允许分类错误。于是便得到了线性支持向量机的原始优化问题表达式：
$$\begin{gathered} {}_{\mathbf{w},b}^{min}\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^N{\xi }_i \\ s.t.y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0 \end{gathered}$$其中，$C>0$称为惩罚因子。上式中的目标函数包含两层含义：使$\frac{1}{2}||\mathbf{w}|{|}^2$尽量小即间隔尽量大，同时使误分类点的个数尽量小。$C$是调节这二者的系数，$C$越大，对误分类的惩罚就越大，误分类点就越少，但是会使得间隔越小；$C$越小，对误分类的惩罚就越小，误分类点就越多，但是会使得间隔越大。

3.学习的对偶算法

  还是一样，为了求解简单以及后面引入核函数推广到非线性支持向量机，我们要推导出线性支持向量机原始问题的对偶问题。

3.1 对偶问题的推导

根据原始优化问题写出拉格朗日函数：
$$L(\mathbf{w},b,\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })=\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i((y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)-1+{\xi }_i))-\sum _{i=1}^N{\mu }_i{\xi }_i$$$L(\mathbf{w},b,\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })$分别对$\mathbf{w},b,{\xi }_i$求偏导：
$$\begin{gathered} {\nabla }_{\mathbf{w}}=\mathbf{w}-\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i=0 \\ {\nabla }_b=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\nabla }_{{\xi }_i}=C-{\alpha }_i-{\mu }_i=0 \end{gathered}$$可以得到：
$$\begin{gathered} \mathbf{w}=\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \\ C-{\alpha }_i-{\mu }_i=0 \end{gathered}$$代入到$L(\mathbf{w},b,\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })$中，可得：
$${}_{\mathbf{w},b,\mathbf{\xi }}^{min}L(\mathbf{w},b,\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)+\sum _{i=1}^N{\alpha }_i$$再对${}_{\mathbf{w},b,\mathbf{\xi }}^{min}L(\mathbf{w},b,\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })$求$\mathbf{\alpha }$的极大，即：
$${}_{\mathbf{\alpha }}^{max}-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)+\sum _{i=1}^N{\alpha }_i$$再将目标函数的求极大转换为求极小，就得到了线性可分支持向量机的对偶最优化问题的目标函数：
$${}_{\mathbf{\alpha }}^{min}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)-\sum _{i=1}^N{\alpha }_i$$约束条件为：
（1）${\sum }_{i=1}^N{\alpha }_i{y}_i=0$
（2）$C-{\alpha }_i-{\mu }_i=0$
（3）${\alpha }_i\ge 0$
（4）${\mu }_i\ge 0$
可以对约束条件再进行一下变换：
根据约束条件（2）和（4）可以得到：${\alpha }_i\le C$,再结合约束条件（3）可以得到：
$$0\le {\alpha }_i\le C$$于是就得到了原始问题的对偶问题表达式：
$$\begin{gathered} {}_{\mathbf{\alpha }}^{min}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$可以发现，线性支持向量机与线性可分支持向量机的对偶问题只有约束条件不同，即多了个${\alpha }_i\le C$的约束条件。

3.2 模型求解

  求解上面所推出的对偶问题，可以得到对偶问题的最优解${\mathbf{\alpha }}^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$。有了${\mathbf{\alpha }}^{\ast }$之后，就可以进一步求得原始最优化问题的解${\mathbf{w}}^{\ast }和b^{\ast }$。求解过程与上一篇文章中相同，即根据KKT条件：
$$\begin{gathered} {\alpha }_i^{\ast }(y_i({\mathbf{w}}^{\ast }\cdot {\mathbf{x}}_i+b^{\ast })-1+{\xi }_i^{\ast })=0 \\ 0\le {\alpha }_i\le C \\ C-{\alpha }_i^{\ast }-{\mu }_i^{\ast }=0 \\ {\mu }_i^{\ast }{\xi }_i^{\ast }=0 \end{gathered}$$所以对于$0<{\alpha }_j^{\ast }<C$所对应的实例点$({\mathbf{x}}_j,y_j)$有：
$$\begin{gathered} y_j({\mathbf{w}}^{\ast }\cdot {\mathbf{x}}_j+b^{\ast })-1+{\xi }_i^{\ast }=0 \\ {\xi }_i^{\ast }=0 \end{gathered}$$即：
$$y_j({\mathbf{w}}^{\ast }\cdot {\mathbf{x}}_j+b^{\ast })-1=0$$最后可以求出：
$$\begin{gathered} {\mathbf{w}}^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{\mathbf{x}}_i \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({\mathbf{x}}_i\cdot {\mathbf{x}}_j) \end{gathered}$$分离超平面可以写为：
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({\mathbf{x}}_i\cdot \mathbf{x})+b^{\ast }=0$$分离决策函数可以写为：
$$f(\mathbf{x})=\text{sign}(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({\mathbf{x}}_i\cdot \mathbf{x})+b^{\ast })$$这样线性支持向量机就求解完成了。

3.3 支持向量

  线性支持向量机的支持向量要比线性可分支持向量机复杂一点，如图2所示，当${\alpha }_i^{\ast }=0$时,此时样本点$({\mathbf{x}}_i,y_i)$不是支持向量;当$0<{\alpha }_i^{\ast }<C$时，${\xi }_i=0$,此时支持向量在间隔边界上；当${\alpha }_i^{\ast }=C,0<{\xi }_i<1$时，支持向量在间隔边界与分离超平面之间；当${\alpha }_i^{\ast }=C,{\xi }_i=1$时，支持向量在分离超平面上；当${\alpha }_i^{\ast }=C,{\xi }_i>1$时，支持向量在分离超平面误分类一侧。

4.合页损失函数

  线性支持向量机模型还有另外一种解释，是通过合页损失函数(hinge loss)来定义的，其表达式如下：
$$\sum _{i=1}^N[1-y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b){]}_{+}+\lambda ||\mathbf{w}|{|}^2$$其中第一项为合页损失函数，其数学定义如下：
$$[z{]}_{+}=\{\begin{array}{ll}z,& \text{if}z>0\\ 0,& \text{if}z\le 0\end{array}$$其图像如图3所示:

  其实用合页损失函数定义的线性支持向量机与原始的线性支持向量机模型是等价的，证明如下:

令:
$$[1-y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b){]}_{+}={\xi }_i$$则有${\xi }_i\ge 0$，当$1-y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)>0$时，有$y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)\ge 1-{\xi }_i$；当$1-y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)\le 0$时，${\xi }_i=0$，有$y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)\ge 1-{\xi }_i$；所以可以将上面的优化问题写成：
$${}_{\mathbf{w},b}^{min}\sum _{i=1}^N{\xi }_i+\lambda ||\mathbf{w}|{|}^2$$若取$\lambda =\frac{1}{2C}$，则有：
$${}_{\mathbf{w},b}^{min}\frac{1}{C}(\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^N{\xi }_i)$$与线性支持向量机的原始形式等价，证毕。

5.参考资料

1.李航《统计学习方法》

2.https://blog.csdn.net/guofei_fly/article/details/102689127