【机器学习入门】一文读懂线性可分支持向量机（一）

一 引言

在机器学习领域，支持向量机（SVM）是一种监督学习模型，用于分类和回归分析。SVM 最初由 Vladimir Vapnik 于 1963 年提出，并在随后的几十年里得到了极大的发展和完善。由于其强大的泛化能力、灵活性以及对高维数据的有效处理，SVM 已经成为许多实际问题中的首选方法之一。

支持向量机（SVM，Support Vecor Machine）是一种二分类算法，在集成学习和深度学习火起来之前支持向量机的使用非常广泛，其分类效果好、适用性广（线性、非线性都可用），功能真的是很棒棒，下来我们就来梳理一下支持向量机的原理。

二 支持向量机原理

2.1 背景

从上一篇文章 【技术干货】一文搞懂感知机算法：从理论到Python实战 中我们可以知道，感知机的目标是找到一个将线性可分的数据一分为二的决策超平面：

如上图所示，决策超平面的一侧为正样本，另一侧为负样本，但是我们可以发现，满足这个特性的决策超平面并不是唯一的，在有限的线性可分样本中，正负样本点之间的间隔使得不同的决策超平面存在，那么如果样本点继续增加，这些决策超平面中那个分类效果最好呢？也就是说谁的泛华效果最好呢？——这就是支持向量机要解决的主要问题，也是支持向量机与感知机的主要区别。

2.2 支持向量

就上面的图来说，主观上看哪个超平面的分类泛化能力最强呢？我们认为红色的那条可能会比较好，这条线距离最近的红点区域和最近的蓝点区域都比较远，无论是红点还是蓝点，再向靠近超平面的方向增加一些点都没问题，还可以被这条超平面分的比较开，那两条虚线就没有这么好的效果，如下图所示，我们新增几个点，可以看出其分类效果的差别：

似乎可以得出这样的结论：超平面离直线两边的数据的间隔越大，对训练集的数据的局限性或噪声有最大的容忍能力，也就是所谓的鲁棒性。

所以，如果所有的样本点不只是可以被决策超平面分开，还和超平面保持一定的距离间隔，那么这样的分类超平面是更优的，支持向量机就是要找到使这个间隔最大的决策超平面（即最大化下图中的margin）。训练样本中和这个超平面距离最近的样本点被称为支持向量，如下图虚线所经过的样本点即为支持向量：

2.3 函数间隔与几何间隔

最大化间隔的思想我们大概了解了，不过要最大化这个间隔首先得量化，怎么量化呢？

对于二分类学习，假设现在的数据是线性可分的，这时分类学习最基本的想法就是找到一个合适的超平面，该超平面能够将不同类别的样本分开，类似二维平面使用ax+by+c=0来表示，超平面实际上表示的就是高维的平面，如下图所示：

对数据点进行划分时，易知：当超平面距离与它最近的数据点的间隔越大，分类的鲁棒性越好，即当新的数据点加入时，超平面对这些点的适应性最强，出错的可能性最小。因此需要让所选择的超平面能够最大化这个间隔Gap（如下图所示）， 常用的间隔定义有两种，一种称之为函数间隔，一种为几何间隔，下面将分别介绍这两种间隔，并对SVM为什么会选用几何间隔做了一些阐述。

2.3.1 函数间隔

在决策超平面$w^{T}x+b=0$确定的情况下，$|w^{T}x+b|$能够表示点$x$到超平面的距离远近；$w^{T}x+b$和$y$是否同号能够表示分类是否正确，所以可用$y(w^{T}x+b)$来表示分类的正确性及确定性，我们在感知机中就有类似的用法，这就是函数间隔的概念，定义函数间隔${\gamma }^{{}^{\prime }}$为：
$${\gamma }^{{}^{\prime }}=y(w^{T}x+b)$$

2.3.2 几何间隔

函数间隔虽然可以表示分类的正确性和确定性，但其缺点是只能在一个确定的超平面$w^{T}x+b=0$下比较样本点到超平面的相对距离，不同参数的超平面条件下计算的距离是不能比较大小的，比如超平面$2w^{T}x+2b=0$与$w^{T}x+b=0$是同一个超平面，样本点与其真实距离没有变化，但是函数距离却翻了一倍，因此我们需要将参数加以约束，使其具备可比性，我们定义几何间隔：
$$\gamma =\frac{y(w^{T}x+b)}{||w|{|}_2}=\frac{{\gamma }^{{}^{\prime }}}{||w|{|}_2}$$

可见，几何间隔才是点到超平面的真正距离，对于公式$y_i(w^T{x}_i+b)$，许多教材中定义了一个专门的概念，那就是函数距离，当参数$w$和$b$固定时，点与超平面间的间隔越大，函数间隔越大。但函数间隔有一个不好的地方，当参数$w$和$b$按比例缩放时，所描述的超平面不会发生变化，但是函数距离却会跟着按比例缩放。为了克服这一不足，我们可以将函数距离固定为一个确定值，例如缩放到函数距离为1，这样求解出来的$w$和$b$虽然不是原来的$w$和$b$，但是所确定的超平面却是一样的，所以并不会对我们求解支持向量机最优超平面造成影响。那么，几何间隔就再次化简为：$\max \frac{1}{\Vert w\Vert }$

因为我们刚假设支持向量到超平面的函数距离为1，所以，对于数据集中任意样本到超平面的函数距离都至少为1，求解时必须考虑上这一约束条件。另外，最大化$\frac{1}{\Vert w\Vert }$和最小化$\frac{1}{2}{\Vert w\Vert }^2$是等价的，所以，支持向量机最大化间隔可以表示为如下优化问题：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2 \\ s.t.y_i(w^T{x}_i+b)⩾1,i=1,2,\cdots ,N \end{gathered}$$

2.4 线性可分支持向量机

综合上述内容可知，线性可分支持向量机可以表示为：
$$f(x)=sign(w^{\ast }x+b^{\ast })$$
式中，$w^{\ast }x+b^{\ast }=0$为与支持向量间隔最大化的分类超平面，可见与感知机是基本一样的，就多了个间隔最大化的要求。

三 支持向量机模型求解

3.1 目标函数

通过上述已知，支持向量机是要最大化支持向量与决策超平面之间的几何间隔，所以目标函数为：
$$\underset{w,b}{\max }\gamma =\frac{y(w^{T}x+b)}{||w|{|}_2}s.t\frac{y_i(w^T{x}_i+b)}{||w|{|}_2}\ge \gamma ,i=1,2,...m$$
这个式子表示，最大化训练样本与超平面的几何间隔$\gamma$，同时要保证约束条件每个训练样本与超平面的几何距离不小于$\gamma$，目标函数可以改写为：
$$\underset{w,b}{\max }\gamma =\frac{{\gamma }^{{}^{\prime }}}{||w|{|}_2}s.t{y}_i(w^T{x}_i+b)\ge {\gamma }^{{}^{\prime }},i=1,2,...m$$
一般我们都取函数间隔${\gamma }^{{}^{\prime }}$为1，为什么呢，因为${\gamma }^{{}^{\prime }}$的取值不影响最优化问题的解，假设${\gamma }^{{}^{\prime }}$不为1，就相当于$w$和$b$变为了${\gamma }^{{}^{\prime }}w$和${\gamma }^{{}^{\prime }}b$，对目标函数和约束不等式都没有影响，都是可以约掉的，所以${\gamma }^{{}^{\prime }}$为1完全没问题，此时最优化问题变为：
$$\underset{w,b}{\max }\frac{1}{||w|{|}_2}s.t{y}_i(w^T{x}_i+b)\ge 1,i=1,2,...m$$
可以转变为：
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}_2^{2}s.t{y}_i(w^T{x}_i+b)\ge 1,i=1,2,...m$$
（有的地方说要最大化margin同时保证两类的支持向量到超平面的距离相等，所以有$max\frac{2}{||w|{|}_2}$，个人认为这个解释很牵强，明明优化$\gamma$的过程中两类就会互相博弈找到这个最优的超平面）根据下面定义的描述发现，这个凸最优化问题是一个凸二次规划问题（convex quadratic programming)。

目标函数和约束条件都为变量的线性函数——线性规划问题；
目标函数为变量的二次函数和约束条件为变量的线性函数——二次规划问题；
目标函数和约束条件都为非线性函数——非线性规划问题。

3.2 对偶问题转化及求解

在感知机中我们说过，利用对偶问题可以从不同角度看待同一个问题，可能会引入新的参数来帮助我们优化，在约束最优化问题中，常常利用拉格朗日对偶性(Lagrange duality)将原始问题转换为对偶问题，通过解对偶问题得到原始问题的解。

首先我们的优化目标函数可以使用拉格朗日乘子法转变成拉格朗日函数：
$$L(w,b,\lambda )=\frac{1}{2}||w|{|}_2^2+\sum _i^m{\lambda }_i[1-y_i(w^T{x}_i+b)],{\lambda }_i\ge 0$$
目标函数的优化转变为：
$$\underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )$$
这一步是什么意思呢，因为约束不等式$1-y_i(w^T{x}_i+b)\le 0,{\lambda }_i\ge 0$，所以加号后面整体小于等于0，只有当其取最大值是为0，此时${\max }_{\lambda }L(w,b,\lambda )=\frac{1}{2}||w|{|}_2^2$，即为原目标函数，这个变形称为广义拉格朗日函数的极小极大问题，它与原问题是完全等价的，在对偶性中，这个问题被称为原始问题（Primal problem)。

这个优化函数满足KKT条件，可以实现强对偶，即可以通过**拉格朗日对偶（Lagrange duality）**将其转化为等价的对偶问题：
$$\underset{\lambda }{\max }\underset{w,b}{\min }L(w,b,\lambda )$$
所以我们可以先求优化函数极小值对应的$w$和$b$，再求的极大值对应的拉格朗日乘子系数$\lambda$：
$$\frac{\partial L}{\partial w}=0\to w+\sum _i^m{\lambda }_i{y}_i{x}_i=0\to w=\sum _{i=1}^m{\lambda }_i{y}_i{x}_i$$

$$\frac{\partial L}{\partial b}=0\to \sum _i^m{\lambda }_i{y}_i=0$$

优化函数取得极小值时，$w$可以用$\lambda$，而$b$无所谓，取什么值都不影响优化函数取得极小值，所以可得：
$$\begin{array}{rl}J(\lambda )& =\underset{w,b}{\min }L(w,b,\lambda )\\ & =\frac{1}{2}||w|{|}_2^2+\sum _i^m{\lambda }_i[1-y_i(w^T{x}_i+b)]\\ & =\frac{1}{2}{w}^{T}w-\sum _{i=1}^m{\lambda }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\lambda }_i{y}_{i}b+\sum _{i=1}^m{\lambda }_i\\ & =\frac{1}{2}\sum _{i=1}^m({\lambda }_i{y}_i{x}_i{)}^T\sum _{i=1}^m{\lambda }_i{y}_i{x}_i-({\lambda }_i{y}_i{x}_i{)}^T\sum _{i=1}^m{\lambda }_i{y}_i{x}_i-\sum _{i=1}^m{\lambda }_i{y}_{i}b+\sum _{i=1}^m{\lambda }_i\\ & =-\frac{1}{2}\sum _{i=1}^m({\lambda }_i{y}_i{x}_i{)}^T\sum _{i=1}^m{\lambda }_i{y}_i{x}_i-b\sum _{i=1}^m{\lambda }_i{y}_i+\sum _{i=1}^m{\lambda }_i\\ & =-\frac{1}{2}\sum _{i=1}^m{\lambda }_i{y}_i{x}_i^T\sum _{i=1}^m{\lambda }_i{y}_i{x}_i+\sum _{i=1}^m{\lambda }_i\\ & =-\frac{1}{2}\sum _{i=1,j=1}^m{\lambda }_i{y}_i{x}_i^T{\lambda }_j{y}_j{x}_j+\sum _{i=1}^m{\lambda }_i\end{array}$$
$J(\lambda )$完全是关于参数$\lambda$的函数，因此：
$$\underset{\lambda }{\max }\underset{w,b}{\min }L(w,b,\lambda )=\underset{\lambda }{\max }J(\lambda )=\underset{\lambda }{\max }-\frac{1}{2}\sum _{i=1,j=1}^m{\lambda }_i{y}_i{x}_i^T{\lambda }_j{y}_j{x}_j+\sum _{i=1}^m{\lambda }_i$$

$$s.t.\sum _i^m{\lambda }_i{y}_i=0,{\lambda }_i\ge 0$$

转化为：
$$\underset{\lambda }{\min }\frac{1}{2}\sum _{i=1,j=1}^m{\lambda }_i{y}_i{x}_i^T{\lambda }_j{y}_j{x}_j-\sum _{i=1}^m{\lambda }_i$$

$$s.t.\sum _i^m{\lambda }_i{y}_i=0,{\lambda }_i\ge 0$$

求出上式取得极小值时对应的$\lambda$向量就可以求出$w$和$b$了，这里一般需要用到SMO(Sequential Minimal Optimization，序列最小优化算法) 算法，还是比较复杂的，下面来看看怎么做。

3.3 序列最小优化算法（SMO）

上述最优化问题是要求解$m$个参数$({\lambda }_1,{\lambda }_2,{\lambda }_3,...,{\lambda }_m)$，其他参数均为已知，有多种算法可以对上述问题求解，比如之前介绍过的次梯度下降应该就可以，但是算法复杂度均很大。序列最小最优化算法(SMO)可以高效的求解上述SVM问题，它把原始求解N个参数二次规划问题分解成很多个子二次规划问题分别求解，每个子问题只需要求解两个参数，方法类似于坐标上升，节省时间成本和降低了内存需求。每次启发式选择两个变量进行优化，不断循环，直到达到函数最优值。

为什么每次优化两个参数呢？像坐标下降不是每次只优化一个参数吗？因为我们这里有个约束， ${\sum }_i^m{\lambda }_i{y}_i=0$，如果认为m-1个都是固定值，那么剩下的那个也就确定了，所以选择每次优化两个。因为SMO比较复杂，本篇文章就不细说了，这里先这样提一下SMO，大家知道上面的优化是用SMO计算的就好。

使用SMO算法，我们得到了${\max }_{\lambda }J(\lambda )$对应的${\lambda }^{\ast }$，所以：
$$w=\sum _{i=1}^m{\lambda }_i^{\ast }{y}_i{x}_i$$
因为对支持向量有：$y_i(w^T{x}_i+b)=1$，所以要根据这个等式解出$b$需要将支持向量样本点代入，怎么获得支持向量呢？KKT条件中的对偶互补条件${\lambda }_i(y_i(w^T{x}_i+b)-1)=0$，我们已经求出了${\lambda }^{\ast }$，如果${\lambda }_i>0$则有$y_i(w^T{x}_i+b)=1$ ，即样本点为支持向量，求解$b$：
$$y_i^2(w^T{x}_i+b)=y_i$$

$$b=y_i-w^T{x}_i=y_i-\sum _{i=1}^m{\lambda }_i^{\ast }{y}_i{x}_i^T{x}_i$$

显然，支持向量大多不止一个，对线性可分支持向量机来说，可以证明分类超平面是存在且唯一的，$b$的解也就只有一个，此时用不同的支持向量求出来的$b$都是相同的，如果数据有噪声，并不是完全线性可分的，那么为了增加模型的鲁棒性，$b$取所有值的平均值，即假设有n个支持向量，则：
$$b=\frac{1}{n}\sum _i^n(y_i-w^T{x}_i)$$
至此，线性可分支持向量机的模型参数就求出来了，模型也就确定了。

四 线性可分支持向量机算法流程

综合以上全部内容，可以得到线性可分支持向量机的算法流程：

• **输入：**线性可分的样本$T=(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$，$x$为$n$维特征向量，$y\in [+1,-1]$；
• 输出：$w,b$，支持向量机模型$f(x)=sign(w^{T}x+b)$。

1. 确定目标函数：

$$\underset{\lambda }{\min }\frac{1}{2}\sum _{i=1,j=1}^m{\lambda }_i{y}_i{x}_i^T{\lambda }_j{y}_j{x}_j-\sum _{i=1}^m{\lambda }_i$$

$$s.t.\sum _i^m{\lambda }_i{y}_i=0,{\lambda }_i\ge 0$$

2. 使用SMO优化目标函数，得到对应的${\lambda }^{\ast }$；

3. 根据${\lambda }^{\ast }$找到样本中的共k=1个支持向量，计算参数$w,b$：

$$w^{\ast }=\sum _{i=1}^m{\lambda }_i^{\ast }{y}_i{x}_i$$

$$b^{\ast }=\frac{1}{k}\sum _i^k(y_i-w^T{x}_i)$$

4. 得到支持向量机模型$f(x)=sign(w^{\ast T}x+b^{\ast })$。

五 总结

本文总结了在数据集线性可分情况下，使用支持向量机算法进行分类的思想——硬间隔最大化。然而，在多数应用中，数据集并非线性可分，如果只是在分类边界附近少数点造成线性不可分，这种情况下需要在硬间隔最大化目标函数基础上，引入松弛变量和惩罚因子，然后通过拉格朗日对偶性求解，这种方法称为软间隔最大化。如果大量样本线性不可分，则需要引入核技巧，往高维空间映射，转化为线性可分。对于这两部分内容，在后续博客中在总结了。