【机器学习】SVM支持向量机算法

SVM简介

     支持向量机（Support Vector Machine，简称SVM）算法是一种分类算法，SVM算法的基本想法就是在特征空间中找到一个超平面将不同类别的样本分开，它的基本模型是指在特征空间中，使得不同类的样本的间隔最大的线性分类器。SVM算法是用来解决二分类问题的有监督学习算法，在引入了核方法后其也可以用来解决非线性问题。本文主要围绕线性可分支持向量机展开。 由于其在解决小样本、非线性及高维数据集中展现出许多特有的优势，因此其被广泛应用于各个领域。
 

SVM原理

     给定样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),\ldots,(x_m,y_m)\} D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)}， y i ∈ { − 1 , 1 } y_i\in\{-1,1\} yi​∈{−1,1}，其中$x_i$表示样本特征，$y_i$表示样本标签。学习的目的就是在特征空间中可以找到一个分离超平面，能将样本进行分类，分离超平面对应于方程则为$\omega \cdot x+b=0$，它是由法向量$\omega$和截距$b$决定，可以表示为$(\omega ，b)$。

     此时，存在无数个超平面可以将样本分类。一个好的分离超平面应该是有较好的“冗余度”，如上图所示，对于黑色超平面，假如新的样本点比较靠近超平面，那么对其影响就会很大，而对红色超平面的影响就较小，因为红色超平面相对居中，即间隔较大。因此，我们利用最大化间隔来求得最优的分离超平面。接下来本文将对间隔进行介绍。
 

函数间隔

     如下图所示，三角形和圆形分别表示正负样本，其中$◯$表示正类，$△$表示负类，且训练集线性可分，中间的实线则表示使正负样本间隔正确划分且间隔最大的分离超平面。

     假如需要预测$A$，$B$，$C$三个点的类别，可以看到，点$A$距离分离超平面比较远，如果预测点$A$为负类样本，那么其预测准确度较高；点$C$距离分离超平面比较近，如果预测点$C$为负类样本，那么其预测准确度较低；点$B$的预测精确度则处于$A$与$C$之间。
     我们可以认为，一个点的分类预测的准确度与该点到分类超平面的距离大小是相关的。在分离超平面$\omega \cdot x+b=0$确定的前提下，$|\omega \cdot x+b|$可以相对地表示该点到超平面的距离大小，然后$\omega \cdot x+b$的符号与标签$y$的符号是否一致可以表示该点的分类是否正确，如果两者符号一致，则表明分类正确，反之即表明分类错误。将两者相结合，$y(\omega \cdot x+b)$既可以表示分类的正确性还可以表示分类的准确度，这个就是函数间隔(functional margin)。
     对于函数间隔，给定训练集$D$和超平面$(\omega ，b)$，样本点$(x_i,y_i)$所对应的函数间隔为：
$${\hat{\gamma }}_i=y_i(\omega \cdot x_i+b)$$而对于训练集$D$的函数间隔，这里取训练集$D$中全部样本的函数间隔的最小值，即：
$$\hat{\gamma }=\min {\hat{\gamma }}_i$$     然而在选择最优分离超平面时，仅靠函数间隔是不够的的，因为只要成比例的改变$\omega$和$b$，例如将它们改为$3\omega$和$3b$，该超平面没有改变，但是函数间隔却变成了原来的3倍。这样子的话，就不能保证最优分离超平面的唯一性。为了解决该状况，我们对分离超平面的法向量$\omega$加一定的约束限制，如规范化，令$||\omega ||=1$，使得间隔是确定的，此时函数间隔就变成了几何间隔(geometric margin)。
 

几何间隔

     如果给出超平面$(\omega ，b)$以及其法向量$\omega$，那么一个点到该超平面的距离为：
$${\gamma }_i=\frac{\omega }{||\omega ||}\cdot x_i+\frac{b}{||\omega ||}$$其中$||\omega ||$表示$\omega$的$L_2$范数，当然上式是在$y_i=+1$时的距离。
     因此对于给定的样本集$D$和超平面$(\omega ，b)$，定义超平面$(\omega ，b)$关于样本点$(x_i，y_i)$的几何间隔为：
$${\gamma }_i=y_i(\frac{\omega }{||\omega ||}\cdot x_i+\frac{b}{||\omega ||})$$而对于训练集$D$的几何间隔，这里取训练集$D$中全部样本的几何间隔的最小值，即：
$$\gamma =\min {\gamma }_i$$     我们可以看到，函数间隔与几何间隔有以下的关系：
$${\gamma }_i=\frac{{\hat{\gamma }}_i}{||\omega ||}$$$$\gamma =\frac{\hat{\gamma }}{||\omega ||}$$从以上关系可以看到，如果$||\omega ||=1$，那么函数间隔与几何间隔相等。此时，如果$\omega$和$b$成比例扩大缩小，函数间隔也成比例扩大缩小，但是几何间隔不变。
 

间隔最大化

     SVM的基本思路是找到可以正确划分训练集且几何间隔最大的分离超平面。间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的准确度对训练数据进行分类。通俗的讲，不仅将正负样本完成分类，而且对最难分类的样本（离超平面最近的点）也有足够大的准确度将它们分开。这样的超平面对未知的新样本也有很好的分类预测能力。
     为了去找到这一个几何间隔最大的分离超平面，这个问题可以表示为一个约束优化问题：
$$\begin{array}{rlrl}& \underset{\omega ,b}{\max }& & \gamma \\ & & & \\ & s.t.& & y_i(\frac{\omega }{||\omega ||}\cdot x_i+\frac{b}{||\omega ||})⩾\gamma \end{array}$$其中$i=1,2,\cdots ，N$。上式目标函数说明我们希望最大化超平面$(\omega ，b)$关于训练集的几何间隔，约束条件说明每个样本到超平面的几何间隔至少是$\gamma$。
     考虑到几何间隔与函数间隔的关系，可以改写为：
$$\begin{array}{rlrl}& \underset{\omega ,b}{\max }& & \frac{\hat{\gamma }}{||\omega ||}\\ & & & \\ & s.t.& & y_i(\omega \cdot x_i+b)⩾\hat{\gamma }\end{array}$$     函数间隔$\hat{\gamma }$的取值并不影响最优化问题的解，因为假设将$\omega$和$b$成比例改变为$\lambda \omega$和$\lambda b$，此时函数间隔变为$\lambda \hat{\gamma }$。我们可以看到函数间隔的改变对我们的问题没有影响。因此，我们这里取$\hat{\gamma }=1$，并将$\hat{\gamma }=1$代入上式的最优化问题，同时，将最大化问题转化为最小化问题，可得到：
$$\begin{array}{rlrl}& \underset{\omega ,b}{\min }& & \frac{1}{2}||\omega |{|}^2\\ & & & \\ & s.t.& & y_i(\omega \cdot x_i+b)-1⩾0\end{array}$$可以看到，这是一个凸二次规划问题。
     下图所示为简单的间隔示意图，加粗的样本为支持向量，支持向量是距离分离超平面最近的样本。

 

求解过程

     对于上述上述的凸二次规划问题，这里使用拉格朗日乘子法求解其对偶问题来得到原始问题的最优解。首先使用拉格朗日乘子法得到其对偶问题。对上式的约束条件添加拉格朗日乘子${\alpha }_i⩾0$，即：
$$L(\mathbf{\omega },b,\mathbf{\alpha })=\frac{1}{2}||\omega |{|}^2+\sum _{i=1}^N{\alpha }_i(1-y_i({\omega }^T{x}_i+b))$$其中$\mathbf{\alpha }=({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N)$。令$L(\mathbf{\omega },b,\mathbf{\alpha })$对$\mathbf{\omega }$和$b$的偏导为零可得：
$$\begin{array}{rlr}\mathbf{\omega }& =& \sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i\\ 0& =& \sum _{i=1}^N{\alpha }_i{y}_i\end{array}$$将上面两个式子代入到拉格朗日函数中，就可以将$L(\mathbf{\omega },b,\mathbf{\alpha })$中的$(\mathbf{\omega }$和$b$消去，就可以得到原问题的对偶问题：
$$\begin{array}{rl}L(\mathbf{\omega },b,\mathbf{\alpha })& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{y}_i((\sum _{j=1}^N{\alpha }_j{y}_j{\mathbf{x}}_j)\cdot {\mathbf{x}}_i+b)\\ & =\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)\end{array}$$即：
$$\begin{array}{rlrl}& \underset{\mathbf{\alpha }}{\max }& & \sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)\\ & & & \\ & s.t.& & \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & & & {\alpha }_i⩾0,i=1,2,\dots ,N\end{array}$$     将目标函数由求最大转换成求最小，即：
$$\begin{array}{rlrl}& \underset{\mathbf{\alpha }}{\min }& & \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_i\cdot {\mathbf{x}}_j)-\sum _{i=1}^N{\alpha }_i\\ & & & \\ & s.t.& & \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & & & {\alpha }_i⩾0,i=1,2,\dots ,N\end{array}$$     根据上述对偶问题，假设通过SMO算法求解得到的$\mathbf{\alpha }$的解是${\mathbf{\alpha }}^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast }{)}^T$，那么就可以由${\mathbf{\alpha }}^{\ast }$求得原始问题的$\mathbf{\omega }$和$b$所对应的解。
$${\mathbf{\omega }}^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$对于$b^{\ast }$的求解，我们首先需要找出某个支持向量,即满足${\alpha }_j^{\ast }>0$对应的样本$(x_j,y_j)$,然后求得$b^{\ast }$为：
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$     假设我们有$S$个支持向量，则对应我们求出$S$个$b^{\ast }$,理论上这些$b^{\ast }$都可以作为最终的结果， 但是我们一般采用一种更健壮的办法，即求出所有支持向量所对应的$b^{\ast }$，然后将其平均值作为最后的结果。
$$b^{\ast }=\frac{1}{S}\sum _{i=1}^S{b}_i^{\ast }$$     这样最终的分离超平面为：
$$w^{\ast }\cdot x+b^{\ast }=0$$     最终的分类决策函数为：$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$其中由于原始问题中含有不等式约束，因此上述的过程需要满足KKT条件。
 

KKT条件

     本文将简单介绍KKT条件，考虑标准约束优化问题：
$$\begin{array}{rlrl}& \min & & f(\mathbf{x})\\ & s.t.& & g_j(\mathbf{x})=0,j=1,2,\dots ,m\\ & & & h_k(\mathbf{x})\le 0,k=1,2,\dots ,p\end{array}$$定义上式的拉格朗日函数为：
$$L(\mathbf{x},{\mathbf{\lambda }}_j,{\mathbf{\mu }}_j)=f(\mathbf{x})+\sum _{j=1}^m{\lambda }_j{g}_j(\mathbf{x})+\sum _{k=1}^p{\mu }_k{h}_k(\mathbf{x})$$其中${\lambda }_j$是对应$g_j(\mathbf{x})=0$的Lagrange乘子，${\mu }_k$是对应$h_k(\mathbf{x})\le 0$的Lagrange乘子。KKT条件包括
$$\begin{array}{rl}\frac{\partial L}{\partial \mathbf{x}}& =0\\ g_j(\mathbf{x})& =0,j=1,2,\dots ,m\\ h_k(\mathbf{x})& \le 0,k=1,2,\dots ,p\\ {\mu }_k& \ge 0\\ {\mu }_k{h}_k(\mathbf{x})& =0\end{array}$$具体KKT条件的原理和细节这里就不再赘述。
 
 
如有错误，欢迎批评指出，谢谢！