支持向量机(Support Vector Machine，SVM)

支持向量机(Support Vector Machine，SVM)理论部分

SVM简介

SVM是由一个叫做Vapnik的前苏联人发明于70年代中期的算法。当时是冷战期间，欧美与苏联不互通，等到苏联解体后，Vapnik来到美国，才逐渐发表了自己的研究成果。

SVM是一个小样本的方法，其原因是超平面的选取只与支持向量有关（后面会说什么是超平面和支持向量）。

SVM有着严密的数学推导，因此SVM的可解释性很好。

SVM从如何划分线性可分（Linear Separable）的样本集出发，推广到如何划分线性不可分（Non-linear Separable）的样本集。

线性可分

SVM线性模型的说明

假设所有的样本可分为两类，“+”表示一类样本，“-”表示另一类样本，x1和x2为样本的俩个特征，将所有已知的这样的样本画出来，很明显，两类样本可以用一条直线分隔开，这样的样本集是线性可分的。

显然如果存在一条直线能将这样的样本集分开，那么一定存在无数条直线能将这样的样本集分开，如下图所示（周志华老师所著的西瓜书中的配图）：

不论是通过直觉，还是理论证明，在上图中，显然是那条加粗的直线所达到的分类效果最好。这是因为这条线在两类样本的“最中间”处，所以它的抗噪声的能力最强，这样的线性模型鲁棒性最好。

为了唯一确定这条分类效果最好的直线，首先要定义一些名词用以描述这条直线。

对于每条能够将两类样本划分开的直线Li，将直线Li向两侧平移，直到与一个或多个样本点相交，把这些与平移后的Li相交的样本点称为支持向量（support vector），把两个异类的支持向量到直线Li的距离之和称为间隔（margin）。

显然，在所有的直线L中，间隔最大且支持向量到直线Li的距离为间隔的一半，这样的Li即为所求。

SVM线性模型的数学描述

在上文中，以二维的特征空间为例，说明了如何选取分类效果最好的直线。然而在实际问题中，特征可能有很多个，也就是说特征空间不再是二维，会是更多的维度。

在二维空间中，用一条直线$l:w_1{x}_1+w_2{x}_2+b=0$划分两类样本点，在三维空间中，用一个平面$\gamma :w_1{x}_1+w_2{x}_2+w_3{x}_3+b=0$划分两类样本点，在更高维的空间中，显然依然存在形如$w_1{x}_1+w_2{x}_2+w_3{x}_3+\cdots +w_n{x}_n+b=0$的方程能够划分两类样本点，人作为三维生物很难想象它具体的样子，因此称之为超平面（hyper plane）。

通过对点到直线距离公式的推广知，点到超平面的距离d为：
$$d=\frac{|w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b|}{\sqrt{w_1^2+w_2^2+\cdots +w_n^2}}$$

将$w_1\sim w_n与x_1\sim x_n$写成向量的形式，于是超平面的方程L可以简化为：
$$w^{T}x+b=0$$

则点到超平面的距离d可简化为：
$$d=\frac{|w^{T}x+b|}{||w||}$$

设在L之上的样本点的标签$y_i=+1$，在L之下的样本点的标签$y_i=-1$（后面会说明为什么是+1和-1而不是0和1或是其他的什么数），如果L能够将特征空间中所有的样本点分类正确，那么对于特征空间中的所有样本点都满足：
$$\{\begin{array}{llc}{w}^T{x}_i+b\ge 0& & y_i=+1\\ w^T{x}_i+b<0& & y_i=-1\end{array}(1)$$

由于与超平面L距离最近的点是支持向量，设支持向量到超平面L的距离为r(r>0)，则(1)可以写成：
$$\{\begin{array}{llc}{w}^T{x}_i+b\ge r& & y_i=+1\\ w^T{x}_i+b\le -r& & y_i=-1\end{array}(2)$$

在(2)中的不等式两边同时乘一个系数1/r，w和b放缩相同的倍数，超平面并不会发生改变，且不等式左侧的系数可以乘入到w和b中，因此有
$$\{\begin{array}{llc}{w}^T{x}_i+b\ge 1& & y_i=+1\\ w^T{x}_i+b\le -1& & y_i=-1\end{array}(3)$$

显然，特征空间中的支持向量能使不等式(3)取等号，也就是说两个异类的支持向量到超平面的距离和为：
$$d=\frac{2}{||w||}$$

为了让间隔最大，只需让||w||最小，至此已经得出了线性模型的任务目标，不过为了计算方便，要对目标函数进行一定的调整。

最小化（Minimize）：
$$\frac{1}{2}||w|{|}^2$$限制条件(Subject to)：
$$yi[w^T{x}_i+b]\ge 1,i=1\sim k$$

对于目标函数，加平方是为了将其改造为二次规划问题，加上系数1/2是为了求导方便。

对于限制条件，由于在前面设yi的取值为+1和-1，因此可以将(3)简化写成如上的形式。

二次规划(Quadratic Programming)

二次规划问题是目标函数(Objective Function)是二次项，限制条件是一次项的优化问题。这种问题要么无解，要么只有一个极小值。

原问题(Prime Problem)

$$\begin{array}{rl}\underset{x}{\min }& f(x)\\ s.t.& g_i(x)\le 0,i=1\sim k\\ & h_i(x)=0,i=1\sim m\end{array}$$

这是一个普适的定义，通过修改正负号，给k、m设值，任何优化问题都可以写成上述形式，其中k、m至少有一个为0时，代表只有一个限制条件或者没有限制条件。

拉格朗日乘子法(Lagrange multiplier)

给定原问题，对原问题的每条约束条件添加拉格朗日乘子$a_i\ge 0$和${\beta }_i$，则该问题的拉格朗日函数可写成：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{g}_i(x)+\sum _{i=1}^m{\beta }_i{h}_i(x)$$$$s.t.{\alpha }_i\ge 0,i=1\sim k$$

因为
$${\alpha }_i\ge 0,g_i(x)\le 0,h_i(x)=0$$

所以原问题等价于：
$$\underset{x}{\min }\underset{\alpha ,\beta }{\max }L(x,\alpha ,\beta )$$$$s.t.\alpha \ge 0$$

对偶问题(Dual Problem)

$$\underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$$$s.t.\alpha \ge 0$$

其中，$\alpha \ge 0$表示$\alpha$的每一个分量${\alpha }_i$都大于等于0。

原问题与对偶问题的区别

原问题：自变量为x，每个x对应一个函数值，这个函数值是在当前x下，遍历所有的$\alpha$和$\beta$后找到的最大值。函数目标是在这些最大值中找到最小的那个。

对偶问题：自变量为$\alpha$和$\beta$，每个$\alpha$和$\beta$对应一个函数值，这个函数值是在当前$\alpha$和$\beta$下，遍历所有的x找到的最小值。函数目标是在这些最小值中找到最大的那一个。

因此，对偶问题是原问题的下界，即对偶问题的解小于等于原问题的解。

强对偶定理

若f(x)为凸函数，且g(x)=Ax+b,h(x)=Cx+b，则此优化问题的原问题与对偶问题的间距为0，即$f(x^{\ast })=\theta ({\alpha }^{\ast },{\beta }^{\ast })$，其中，$x^{\ast }$是原问题的解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的解，$\theta (\alpha ,\beta )$为对偶问题的表达式，原问题与对偶问题的间距$G=f(x^{\ast })-\theta ({\alpha }^{\ast },{\beta }^{\ast })\ge 0$。

如果G为0，则意味着对任意的i=1~k，或者${\alpha }_i^{\ast }=0$，或者$g_i^{\ast }(x^{\ast })=0$（KKT条件）。

将SVM线性可分的原问题转化成对偶问题

在前文中，已经得出了线性模型的任务目标：
$$\begin{array}{rl}\min & \frac{1}{2}||w|{|}^2\\ s.t.& 1-yi[w^T{x}_i+b]\le 0(i=1\sim k)\end{array}$$

它本身是一个凸二次规划问题，能直接用Quadratic Programming优化包求解。但存在更高效的办法。

对上式使用拉格朗日乘子法，得到：
$$\begin{array}{rl}L(w,b,\alpha )=& \frac{1}{2}||w|{|}^2+\sum _{i=1}^k{\alpha }_i[1-yi(w^T{x}_i+b)]\\ s.t.& {\alpha }_i\ge 0,i=1\sim k\end{array}$$

对照上面的$L(x,\alpha ,\beta )=f(x)+{\sum }_{i=1}^k{\alpha }_i{g}_i(x)+{\sum }_{i=1}^m{\beta }_i{h}_i(x)$，$w$和$b$相当于$x$，$\alpha$相当于$\alpha$，没有$\beta$。

因为$1-yi(w^T{x}_i+b)$是线性的，符合强对偶定理。因此可以通过求解对偶问题来获得原问题的解。

令L对$w$和b的偏导值为0，得：
$$\begin{array}{rl}w& =\sum _{i=1}^k{\alpha }_i{y}_i{x}_i,\\ 0& =\sum _{i=1}^k{\alpha }_i{y}_i\end{array}$$代回原式得：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^k{\alpha }_i-\frac{1}{2}\sum _{i=1}^k\sum _{j=1}^k{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ s.t.& \sum _{i=1}^k{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1\sim k\end{array}(4)$$

解出$\alpha$后，将$w={\sum }_{i=1}^k{\alpha }_i{y}_i{x}_i$代入$w^{T}x+b=0$中，得：
$$\sum _{i=1}^k{\alpha }_i{y}_i{x}_i^{T}x+b=0(5)$$

式（5）即为最终确定的超平面，也就是训练得到的模型。

根据KKT条件，${\alpha }_i[1-yi(w^T{x}_i+b)]=0$。

也就是说或者${\alpha }_i=0$，或者$1-yi(w^T{x}_i+b)=0$，若前者为0，则第i个样本不会出现在（5）的求和中，也就不会对待求解的超平面产生影响；若后者为0，显然$x_i$是一个支持向量。这意味着，训练模型时，只有支持向量会对模型参数产生影响，其他训练样本可以直接无视。

关于求解式（4），可以使用SMO算法。

关于式（5），${\alpha }_i$已经使用SMO得出，$y_i$和$x_i$为训练样本，只需将$b$也求出来即可完成训练。

线性不可分

升维

对于线性可分的样本集，可以找到一个超平面将之划分，对于线性不可分的样本集，显然是无解的（二次规划问题，要么只有一个极小值，要么无解）。为了让SVM能够处理线性不可分的样本集，首先要将原样本集投到更高维的空间中，投射后的样本集将会有更大的概率变得线性可分，若投到无限维的空间中，则一定变得线性可分。

核函数

然而，若将x经过映射函数$\phi (x)$映射到无限维，式（4）将会变为：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^k{\alpha }_i-\frac{1}{2}\sum _{i=1}^k\sum _{j=1}^k{\alpha }_i{\alpha }_j{y}_i{y}_j\phi (x_i{)}^T\phi (x_j)\\ s.t.& \sum _{i=1}^k{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1\sim k\end{array}$$

显然，此优化函数将会变得不可解。

但实际上，其实并不需要知道$\phi (x_i)$和$\phi (x_j)$的具体值，也就是说，并不需要知道无限维映射$\phi (x)$的显式表达式是什么，只需要知道一个核函数（Kernel Function）$K(x_i,x_j)=\phi (x_i{)}^T\phi (x_j)$，这样，不仅能把原样本集映射到无限维，还能使式（4）依然可解。

常用的核函数：
$$\begin{array}{rlrl}线性核K(x_1,x_2)=& x_1^T{x}_2& & \\ & & & \\ 多项式核K(x_1,x_2)=& (x_1^T{x}_2+1{)}^d& & d\ge 1为多项式的次数，d=1时为线性核\\ & & & \\ 高斯核K(x_1,x_2)=& e^{-\frac{||x_1-x_2|{|}^2}{2{\sigma }^2}}& & \sigma >0为高斯核的带宽(width)\\ & & & \\ 拉普拉斯核K(x_1,x_2)=& e^{-\frac{||x_1-x_2||}{\sigma }}& & \sigma >0\\ & & & \\ Sigmoid核K(x_1,x_2)=& tanh(\beta x_1^T{x}_2+\theta )& & \beta >0,\theta <0\end{array}$$

核函数还可以通过函数组合得到，两个核函数对于任意正数的线性组合、两个核函数的直积也是核函数，此外，若$K_1$为核函数，则对于任意函数$g(x)$，$K(x_1,x_2)=g(x_1)K_1(x_1,x_2)g(x_2)$也是核函数。

修改待优化的目标函数

在前文中已经知道，超平面的选取标准是最大化支持向量与超平面的距离。其实以这种标准选取超平面的时候就已经默认了一件事，那就是训练样本集是线性可分的，对于线性不可分的训练样本，将之投到更高维的空间中，如果投到无限维的空间中，那将一定会变得线性可分，正是因为这一点，SVM才能对任何样本集都成立。

通过核函数的引入，使得无限维的映射$\phi (x)$的显式表达式变得并不重要，优化问题也变得仍然可解。但这个前提是，找到合适的核函数，此外，就算找到了某个核函数使训练样本集在高维空间中线性可分也不能确保这个模型就是好的，因为它有可能发生了过拟合。

为了缓解这个问题，需要让超平面的选取不再那么严苛，也就是说允许训练样本集上的一些样本点分类错误，即允许有样本点不满足$y_i(w^T{x}_i+b)\ge 1$，显然，不满足约束的样本点越少越好，可以通过引入松弛变量的方式来达到这种效果，优化问题将被改写为：
$$\begin{array}{rl}\underset{w,{\xi }_i}{\min }& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^k{\xi }_i,C>0\\ s.t.& y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0,i=1\sim k\end{array}(6)$$

在式（6）中可以看出，通过引入松弛变量，使得$y_i(w^T{x}_i+b)\ge 1$条件变得具有一定弹性。

将式（6）改造成原问题：
$$\begin{array}{rl}\underset{w,{\xi }_i}{\min }& \frac{1}{2}||w|{|}^2-C\sum _{i=1}^k{\xi }_i,C>0\\ s.t.& 1+{\xi }_i-y_i(w^T{x}_i+b)\le 0\\ & {\xi }_i\le 0,i=1\sim k\end{array}(7)$$

将SVM线性不可分的原问题转化成对偶问题

再将式（7）转化成对偶问题：
$$\underset{\alpha ,\beta }{\max }\underset{w,b,{\xi }_i}{\min }\frac{1}{2}||w|{|}^2-C\sum _{i=1}^k{\xi }_i+\sum _{i=1}^k{\beta }_i{\xi }_i+\sum _{i=1}^k{\alpha }_i(1+{\xi }_i-y_i{w}^T{x}_i-y_{i}b),C>0,{\alpha }_i\ge 0,{\beta }_i\ge 0(8)$$

${\alpha }_i,{\beta }_i$都大于等于0的原因是，此处的${\alpha }_i,{\beta }_i$都相当于拉格朗日函数中的${\alpha }_i$，由于在这个问题中没有形如$h_i(x)=0$的限制条件，因此没有相当于拉格朗日函数中${\beta }_i$的系数存在，设内层求最小值的函数等于L，分别令L对$w,b,{\xi }_i$的偏导为0，有：
$$\begin{array}{rl}\frac{\partial L}{\partial w}=0& =>\sum _{i=1}^k{\alpha }_i{y}_i{x}_i=w\\ & \\ \frac{\partial L}{\partial b}=0& =>\sum _{i=1}^k{\alpha }_i{y}_i=0\\ & \\ \frac{\partial L}{\partial {\xi }_i}=0& =>{\alpha }_i+{\beta }_i=C\end{array}$$

将上式代回原式中得到新的优化问题：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^k{\alpha }_i-\frac{1}{2}\sum _{i=1}^k\sum _{j=1}^k{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ s.t.& \sum _{i=1}^k{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C\end{array}$$

其中，要将$x_i^T{x}_j$升维并通过核函数求解，因此，最终的优化问题为：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^k{\alpha }_i-\frac{1}{2}\sum _{i=1}^k\sum _{j=1}^k{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)\\ s.t.& \sum _{i=1}^k{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C\end{array}$$

可见，加入松弛变量后，最终的优化问题与线性可分的优化问题的区别只有拉格朗日乘子$a_i$的取值范围变了。

回到（8）中
$$\underset{\alpha ,\beta }{\max }\underset{w,b,{\xi }_i}{\min }\frac{1}{2}||w|{|}^2-C\sum _{i=1}^k{\xi }_i+\sum _{i=1}^k{\beta }_i{\xi }_i+\sum _{i=1}^k{\alpha }_i(1+{\xi }_i-y_i{w}^T{x}_i-y_{i}b),C>0,{\alpha }_i\ge 0,{\beta }_i\ge 0(8)$$
根据KKT条件：
${\beta }_i,{\xi }_i$中必有一个为0；
${\alpha }_i,1+{\xi }_i-y_i{w}^T\phi (x_i)-y_{i}b$中必有一个为0。

若${\alpha }_i=0$，则该样本$x_i$不会对超平面产生影响；
若$0<{\alpha }_i$，则$1+{\xi }_i-y_i{w}^T\phi (x_i)-y_{i}b=0$，即$y_i[w^T\phi (x_i)+b]=1+{\xi }_i$，此时$x_i$可能是一个支持向量；

根据已知条件${\alpha }_i+{\beta }_i=C,C>0$，
若$0<{\alpha }_i<C$，则${\beta }_i\ne 0$则${\xi }_i=0$，即该样本恰好落在最大间隔上，是一个支持向量；
若${\alpha }_i=C$，则${\beta }_i=0$。若$-1\le {\xi }_i<0$，则该样本落在最大间隔的内部；若${\xi }_i<-1$，则该样本分类错误。

由此可以看出，引入松弛变量前后的SVM都只与支持向量有关。

SVM训练&测试流程

训练流程

输入： { ( x i , y i ) } , i = ( 1 ∼ k ) \{(x_i,y_i)\},i=(1\sim k) {(xi​,yi​)},i=(1∼k)
解优化问题：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^k{\alpha }_i-\frac{1}{2}\sum _{i=1}^k\sum _{j=1}^k{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)\\ s.t.& 0\le {\alpha }_i\le C\\ & \sum _{i=1}^k{\alpha }_i{y}_i=0\end{array}$$

计算$b$，找一个$0\le {\alpha }_i\le C$

根据KKT条件有$1-y_i{w}^T\phi (x_i)-y_{i}b=0$

又因为$w^T={\sum }_{j=1}^k{\alpha }_j{y}_j\phi (x_j{)}^T$且$\phi (x_j{)}^T\phi (x_i)=K(x_j,x_i)$

所以$b=\frac{1-y_i{\sum }_{j=1}^k{\alpha }_j{y}_{j}K(x_j,x_i)}{y_i}$

测试流程

输入测试样本x，
$$\{\begin{array}{l}若{\sum }_{i=1}^k{\alpha }_i{y}_{i}K(x_i,x)+b\ge 0,则y=+1\\ \\ 若{\sum }_{i=1}^k{\alpha }_i{y}_{i}K(x_i,x)+b<0,则y=-1\end{array}$$