【深度学习基础】从零开始的炼丹生活03——支持向量机以及核方法

往期回顾：
00——机器学习数学基础以及数值计算数值优化方法
01——机器学习基本概念、统计学基本概念简单介绍
02——逻辑回归/logistic回归、广义线性模型与最大熵模型

有关支持向量机的理解在网上已经有很多了，我在这里写一下我的学习笔记。（主要参考《统计学习方法》以及部分博客）

---

支持向量机包含线性可分的支持向量机、线性支持向量机、非线性支持向量机，让我们从简单到复杂来学习它。

一、什么是支持向量机

支持向量机（support vector machines, SVM） 是一种二分类模型。它的基本定义是在特征空间上的间隔最大的线性分类器。借助核技巧，支持向量机成为实质上的非线性分类器。基本的学习策略就是寻找最大化的间隔。

让我们先从线性可分的数据集中获取一些基本概念

1. 间隔（函数间隔和几何间隔）

如图，这是一个线性可分的二分类(分为{+1， -1}两类)问题，其中有一个超平面分隔了两类。我们可以认为某点距离超平面越远，它为对应的类别的确信度就越高。即：对于给定的超平面$\mathbf{w}\cdot \mathbf{x}+\mathbf{b}=0$;点${\mathbf{x}}_0$距离该平面的远近可以相对的使用 $|\mathbf{w}\cdot {\mathbf{x}}_0+\mathbf{b}|$来表示。而$\mathbf{w}\cdot \mathbf{x}+\mathbf{b}$的符号与类标记的符号y是否一致就可以表示分类的正确性。因此给出函数间隔(functional margin)的概念：

• 函数间隔：对于给定的训练集$T$和超平面$(w,b)$，定义超平面关于样本点$(x_i,y_i)$的函数间隔为$${\hat{\gamma }}_i=y_i(w\cdot x_i+b)$$定义超平面关于数据集T的函数间隔为所有样本点中函数间隔的最小值。$$\hat{\gamma }=\underset{i=1,\dots ,N}{\min }{\hat{\gamma }}_i$$函数间隔可以表示分类预测的准确性以及确信度。

但是我们不难发现若成比例的增长超平面的参数，超平面不会改变，这对我们要优化参数找到最大间隔造成了不便，因此我们可以对参数进行某些8约束，如规范化，使得$\Vert w\Vert =1$（这里视为L2范数）从而使得间隔是确定的。也就是几何间隔（geometric margin）：

• 几何间隔：对于给定的训练集$T$和超平面$(w,b)$，定义超平面关于样本点$(x_i,y_i)$的几何间隔为：$${\gamma }_i=y_i(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert })$$定义超平面关于数据集T的几何间隔为所有样本点中几何间隔的最小值。也就是我们直观上理解的点到超平面的距离。

2.（硬）间隔最大化

支持向量机所寻找的就是所有可分割两类的超平面中，几何间隔最大的超平面。
即下面的约束最优化问题：$$\begin{array}{rl}& \underset{w,b}{\max }\gamma \\ & \text{s.t.}{y}_i(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert })\ge \gamma ,i=1,2,\dots ,N\end{array}$$转换为函数间隔，我们得到$$\begin{array}{rl}& \underset{w,b}{\max }\frac{\hat{\gamma }}{\Vert w\Vert }\\ & \text{s.t.}{y}_i(w\cdot x_i+b)\ge \hat{\gamma },i=1,2,\dots ,N\end{array}$$

• 由于函数间隔的放缩对于最大间隔没有影响，因此我们这里可以认为函数间隔$\hat{\gamma }=1$.
• 同时，我们可以将最大化$\frac{1}{\Vert w\Vert }$，转化为最小化凸函数$\frac{1}{2}\Vert w{\Vert }^2$两者是等价的。因此，上面的约束优化问题等价于下面这个凸二次规划问题：
  $$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2\\ & \text{s.t.}{y}_i(w\cdot x_i+b)-1\ge 0,i=1,2,\dots ,N\end{array}$$

注：凸优化问题是指目标函数和约束函数都是连续可微的凸函数，且等式约束是仿射函数。

求解出优化问题的最优解$w^{\ast },b^{\ast }$后，我们就可以得到分离超平面，以及决策函数：$f(x)=\text{sign}(w^{\ast }\cdot x+b^{\ast })$

3. 最大间隔的确定性

这里主要解释证明一下为什么支持向量机有如下定理：

• 最大间隔分离超平面的存在唯一性：若训练数据集线性可分，则可将数据集中的样本点完全正确分开的最大间隔分离超平面存在且唯一。

1. 存在性：由于数据集线性可分，则根据最优化问题，我们一定可以找到可行解。又由于目标函数有下界，因此最优化问题一定有解。 由于正负两类的存在，最优解$w^{\ast }$一定不为0。综上我们可以得出分离超平面的可行性。
2. 唯一性：
   • 运用反证法，假设最优化问题存在两个最优解$(w_1^{\ast },b_1^{\ast })$和$(w_2^{\ast },b_2^{\ast })$。显然由目标函数，我们得到$\Vert w_1^{\ast }\Vert =\Vert w_2^{\ast }\Vert =c$.
   • 令$w=\frac{w_1^{\ast }+w_2^{\ast }}{2},b=\frac{b_1^{\ast }+b_2^{\ast }}{2}$。有$\Vert w\Vert =c$，即$$\begin{gathered} \Vert w_1^{\ast }\Vert =\frac{\Vert w_2^{\ast }\Vert + \\ |w_1^{\ast }\Vert }{2} \end{gathered}$$,由此我们推知$w_1^{\ast }=w_2^{\ast }$。
   • 对于两个最优解$(w^{\ast },b_1^{\ast }),(w^{\ast },b_2^{\ast })$,对于训练集中所有的负类$(y=-1)$，假设$x_1^{\prime },x_2^{\prime }$是使得约束函数等号成立的点，同样假设$x_1^{\prime \prime },x_2^{\prime \prime }$为正类中使得约束函数等号成立的点。根据约束函数，我们可以解出$b_i^{\ast }$:$$\begin{gathered} b_i^{\ast }=-\frac{1}{2}(w^{\ast }\cdot x_i^{\prime }+w^{\ast }\cdot x_i^{\prime \prime }),i=1,2 \\ \Downarrow \\ {b}_1^{\ast }-b_2^{\ast }=-\frac{1}{2}[w^{\ast }\cdot (x_1^{\prime }-x_2^{\prime })+w^{\ast }\cdot (x_1^{\prime \prime }-x_2^{\prime \prime })] \end{gathered}$$又因为根据不等式约束$$\begin{gathered} w^{\ast }\cdot x_2^{\prime }+b_1^{\ast }⩾1=w^{\ast }\cdot x_1^{\prime }+b_1^{\ast } \\ {w}^{\ast }\cdot x_1^{\prime }+b_2^{\ast }⩾1=w^{\ast }\cdot x_2^{\prime }+b_2^{\ast } \end{gathered}$$两式可以推出$w^{\ast }\cdot (x_1^{\prime }-x_2^{\prime })=0$,同理，$w^{\ast }\cdot (x_1^{\prime \prime }-x_2^{\prime \prime })=0$.因此我们最终得到：$b_1^{\ast }-b_2^{\ast }=0$
   • 由$w_1^{\ast }=w_2^{\ast },b_1^{\ast }=b_2^{\ast }$，最大分割超平面的唯一性得证。

4. 支持向量和间隔边界

支持向量就是使不等式约束等号成立的点，即：$$y_i(w\cdot x_i+b)-1=0$$因此对于所有正类和负类，所有都支持向量在超平面$w\cdot x+b=\pm 1$上。如图所示，

两个超平面之间形成一条长带，分离超平面位于它们中央。长带的宽度，称为间隔。间隔大小为$\frac{2}{\Vert w\Vert }$。同时两个支持向量超平面称为间隔边界。

5. 软间隔

对于线性不可分的数据集，通常情况下，训练数据中有一些特异点，将这些特异点去除后，剩下大部分的样本点组成的集合是线性可分的。

• 为了解决某些样本点不能满足函数间隔大于1的约束条件，我们可以对每个样本点引入一个松弛变量${\xi }_i⩾0$,使函数间隔加上松弛变量大于等于1.即约束条件变为：$$y_i(w\cdot x_i+b)⩾1-{\xi }_i$$与此同时，对于每个松弛向量，我们都支付一个代价。即把目标函数变为：$$\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i$$这里$C>0$称为惩罚参数，由具体应用决定。$C$值很大时对于误分类的惩罚增大。因此对于线性不可分的训练数据集，我们的学习策略是软间隔最大化。
• 线性不可分的支持向量机的学习问题变为如下凸二次规划问题：$$\begin{array}{rl}\underset{w,b,\xi }{\min }& \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i\\ \text{s.t.}& y_i(w\cdot x_i+b)⩾1-{\xi }_i,i=1,2,\dots ,N\\ & {\xi }_i⩾0,i=1,2,\dots ,N\end{array}$$
• 注意：此时可以证明$w$的解是唯一的，但$b$的解不唯一，而是存在于一个区间。
• 此优化问题就是线性支持向量机的通用定义。

二、怎么求解支持向量机

1. 线性可分支持向量机

对于线性可分支持向量机的凸二次规划问题，我们可以构造广义拉格朗日函数：
$$\mathcal{L}=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^N{\alpha }_i[y_i(w\cdot x_i+b)-1]$$其中$\alpha =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N{)}^T$为拉格朗日乘子向量。
对于原始问题：${\min }_{w,b}{\max }_{\alpha }\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\alpha })$,由于这是一个凸二次规划问题，因此我们可以运用拉格朗日的对偶性，求解对偶问题来得到原始问题的最优解：$$\underset{\alpha }{\max }\underset{w,b}{\min }\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\alpha })$$
具体求解过程如下：

1. 求${\min }_{w,b}\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\alpha })$:
   对拉格朗日函数求梯度并令其等于零：
   $$\begin{gathered} {\nabla }_w\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\alpha })=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_b\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\alpha })=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$得到：
   $$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i,\sum _{i=1}^N{\alpha }_i{y}_i=0$$代入函数中，得到：

$$\begin{array}{rl}\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\alpha })& =\frac{1}{2}\sum _{i=1}^N\sum _{j-1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i{y}_i\left(\right(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j)\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j-1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\end{array}$$
具体推导见图：

由此我们求出了$$\underset{w,b}{\min }\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\alpha })=-\frac{1}{2}\sum _{i=1}^N\sum _{j-1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

2. 求对偶问题$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j-1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N\\ \text{s.t.}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,N\end{array}$$根据拉格朗日对偶问题与原始问题等价的条件成立（KKT条件）：
   $$\begin{array}{rl}{\nabla }_w\mathcal{L}({\mathbf{w}}^{\ast },{\mathbf{b}}^{\ast },{\mathbf{\alpha }}^{\ast })& =w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0\\ {\nabla }_b\mathcal{L}({\mathbf{w}}^{\ast },{\mathbf{b}}^{\ast },{\mathbf{\alpha }}^{\ast })& =-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0\\ {\alpha }_i^{\ast }(y_i(w^{\ast }\cdot x_i+b^{\ast })-1)& =0,i=1,2,\dots ,N\\ y_i(w^{\ast }\cdot x_i+b^{\ast })-1& ⩾0\\ {\alpha }_i& ⩾0,i=1,2,\dots ,N\end{array}$$由此得$$w^{\ast }=\sum _i{\alpha }_i^{\ast }{y}_i{x}_i$$因此至少有一个${\alpha }_j^{\ast }>0(w^{\ast }\ne 0)$，对于此点，有$y_j(w^{\ast }\cdot x_j+b^{\ast })-1=0$。由此我们可以求出$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$从而得到了我们的分离超平面：$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0$$也就是说，分类只依赖于输入$x$和训练样本输入的内积。

以上就是线性可分的支持向量机学习的基本算法。

2. 线性支持向量机

同之前一样，我们构造广义拉格朗日函数：$$\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w\cdot x_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$其中${\alpha }_i⩾0,{\mu }_i⩾0.$
首先，我们求${\min }_{w,b,\xi }\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })$,对$w,b,\xi$求梯度并令其为零。其中前两个与之前一样。
$$\begin{gathered} {\nabla }_w\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_b\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\nabla }_{{\xi }_i}\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })=C-{\alpha }_i-{\mu }_i=0 \end{gathered}$$
代入函数中，会发现得到与之前一样的形式：
$$\underset{w,b,\xi }{\min }\mathcal{L}(\mathbf{w},\mathbf{b},\mathbf{\xi },\mathbf{\alpha },\mathbf{\mu })=-\frac{1}{2}\sum _{i=1}^N\sum _{j-1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$因此对偶问题为：
$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j-1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ \text{s.t.}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i⩾0\\ & {\mu }_i⩾0,i=1,2,\dots ,N\end{array}$$
将约束条件合并，我们可以得到$$0⩽{\alpha }_i⩽C$$

对于原始问题和对偶问题等价性的证明，也与之前类似，证明其满足KKT条件即可。
分离超平面：$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0$$

在决定分离超平面时，只有支持向量起作用，而其他实例点不起作用。由于支持向量在确定分离超平面中起到决定性作用，所以将这种分类模型成为“支持向量机”。

三、核技巧及非线性SVM

上面只是介绍了线性支持向量机，对于非线性的分类问题，我们可以使用非线性支持向量机，它使用了核技巧。核技巧适用于很多统计学习问题，是十分重要的方法。

1. 非线性分类问题

非线性问题是指利用非线性模型才能很好分类的问题，如左图所示，我们无法用直线将正负实例分开，但可以用一条椭圆曲线分开。一般来说，对于给定的数据集，其中，实例$x_i\in \mathcal{X}={\mathbb{R}}^n$,对应的标记有两类 y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , … , N y_i\in\mathcal Y=\{-1,+1\},i=1,2,\dots,N yi​∈Y={−1,+1},i=1,2,…,N。如果能用${\mathbb{R}}^n$中的一个超曲面将正负例正确分开，则称这个问题为非线性可分问题。

但是如果我们将数据集重新映射到一个高维的空间，如右图，我们可以发现有一个超平面将两个类别正确分类。因此我们对于非线性的分类问题，我们往往采用将其重新映射到更高维的空间，以使非线性的问题变换为线性分类问题。然后我们就可以在新空间里用线性分类学习方法从训练数据中学习分类模型。

2. 核函数

定义：设$\mathcal{X}$是输入空间（欧氏空间${\mathbb{R}}^n$的子集或离散集合），又设$\mathcal{H}$为特征空间（希尔伯特空间），如果存在一个从$\mathcal{X}$到$\mathcal{H}$的映射$$\varphi (x):\mathcal{X}\to \mathcal{H}$$使得对所有$x,z\in \mathcal{X}$,函数$K(x,z)$满足条件$$K(z,x)=\varphi (x)\cdot \varphi (z)$$则称$K(x,z)$为核函数，$\varphi$为映射函数，式中为两函数的内积。

• 简单来说，可以认为核函数的输入是原空间的两个向量，它的输出是映射到高维空间的两个向量的内积，因此我们不用去求复杂的映射函数$\varphi$而直接获取映射后两个向量的内积。

关于核函数的更通俗的理解，可以看看《关于核函数的一些思考》

3. 非线性SVM

之前求解出的对偶问题中，我们发现无论是目标函数还是决策函数都只涉及向量的内积，因此我们考虑可以使用核函数代替，以此来实现非线性支持向量机的学习。

此时对偶问题的目标函数变为$$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j-1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$

同样，分类决策函数变为$$f(x)=\text{sign}(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$

4. 成为核函数的条件

如果我们已知映射函数$\varphi$那么我们就可以通过$\varphi (x)\cdot \varphi (z)$直接求得核函数。但实际上我们很难去学习映射函数，那么我们怎样才能不用构造映射函数而直接判断一个给定的函数$K(x,z)$是否核函数呢？

我们通常所说的核函数就是正定核函数，对于它的进一步理解，建议看一下这篇教程

• 正定核的充要条件：设$K:\mathcal{X}\times \mathcal{X}\to \mathbb{R}$是对称函数，则$K(x,z)$为正定核函数的充要条件是对任意$x_i\in \mathcal{X},x=1,2,\dots ,m,K(x,z)$对应的Gram矩阵：$$K=[K(x_i,x_j){]}_{m\times m}$$是半正定矩阵。

• 由此我们可以写出正定核的等价定义： 设$\mathcal{X}\subset {\mathbb{R}}^n,K(x,z)$是定义在$\mathcal{X}\times \mathcal{X}$上的对称函数，如果对任意$x_i\in \mathcal{X},i=1,2,\dots ,m,K(x,z)$对应的Gram矩阵是半正定矩阵，则称$K(x,z)$是正定核。

  这一定义对于构造核函数时很有用。但对于具体函数我们不容易检验它是否为正定核函数。在实际问题中我们往往应用已有的核函数。

• 另外，由Mercer定理我们可以得到Mercer核，正定核比它更具有一般性。

5. 常用的核函数

1. 多项式核函数$$K(x,z)=(x\cdot z+1{)}^p$$对应的支持向量机是一个p次多项式分类器。
2. 高斯核函数（RBF）$$K(x,z)=\exp (-\frac{\Vert x-z{\Vert }^2}{2{\sigma }^2})$$对应高斯径向基函数分类器，会将原始空间映射为无穷维空间。通过调控参数，高斯核实际上具有相当高的灵活性，也是使用最广泛的核函数之一。

四、支持向量机的进一步理解

1. 支持向量机的另一种解释

支持向量机还有一种解释，就是最小化以下目标函数：$$\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda \Vert w{\Vert }^2$$即SVM能够同时实现经验风险和结构风险的最小化，从而达到在统计样本量较少的情况下，能获得良好统计规律的目的。

其中第一项是经验风险，称为合页损失函数（hinge loss）即$$[z{]}_{+}\{\begin{array}{l}z,z>0\\ 0,z⩽0\end{array}$$当样本点被正确分类且函数间隔大于1时，损失是0，否则会产生损失。目标函数第二项时正则化项，也是结构风险。

2. SMO算法

SMO算法是两变量支持向量机学习的一种快速算法，不断地将原二次规划问题分解为只有两个变量的二次规划子问题，并对子问题进行解析求解，直到所有变量满足KKT条件位置。证明不在这里详述了，但它具体的学习步骤如图：
对于SMO的更深入的理解，请参阅：1、SVM算法实现，2 、SMO优化算法

---

这里推荐一下July大神的 支持向量机通俗导论（理解SVM的三层境界）说的非常细致且由浅入深。

---

以上内容如有谬误还请告知。