清晰理解SVM原理

前言：在机器学习中，SVM是十大经典算法之一，在这十大算法中SVM的地位也是处于前几位的行列中，然而学习SVM算法并不容易。在本人看来想要透彻理解SVM算法，主要有两大难题需要解决，一个是不等式约束条件最优化问题（用结合KKT条件的拉格朗日乘子法解决）；另一个问题是对多个未知变量求解（也是本文需要介绍的SMO算法）。

SVM的简介

svm（support vector machines，支持向量机）是一个二分类的机器学习线性分类器，因此只能用于解决线性可分问题(指一个线性函数能够将样本数据完全正确的分开)。它的主要思想是寻找一个可以正确划分出正负训练样本的最大间隔的决策超平面（或线、点），并使样本到超平面的距离之和最大（实际上是使支持向量到超平面的距离之和最大）。通俗的讲就是找到线性函数的一组权值，该函数就是决策面。

SVM的分类原理

问题：给定训练样本集D = { ( X 1 , Y 1 ) , ( X 1 , Y 1 ) , . . . , ( X n , Y n ) } , Y i ∈ { − 1 , 1 } \{(X_1,Y_1),(X_1,Y_1),...,(X_n,Y_n)\},Y_i\in\{-1,1\} {(X1​,Y1​),(X1​,Y1​),...,(Xn​,Yn​)},Yi​∈{−1,1}，每个样本有两个属性（$x_1,x_2$)，样本的分布如图1所示，实心圈表示$Y_i=1$的样本，空心圈表示$Y_i=-1$的样本，找出一组支持向量，并且使正负样本的支持向量到决策线中的距离最远。

解：从图1可以看到有三组线（目前暂叫支持向量线），这三组支持向量线对应的决策线就是它们的中心位置（如b组线的决策线），这三条决策线都是可以完美的将正负样本划分开来，但是三组支持向量线的间隔都不是相同的，而我们要找的是到正负样本距离最大的决策线。
设：样本属性系数$W=(w_1,w_2)$，决策线所对应的方程为$W^{T}X+b=0$(数学上是$w_1{x}_1+w_2{x}_2+b=0$）。
那么样本空间中任意点X到决策线中的距离可写为：$$d=\frac{|W^{T}X+b|}{||W||}，(其中||W||=\sqrt{w_1^2+w_2^2})\text{\hspace{1em}(1)}$$
若决策线可以将训练集样本数据全部正确分类，则支持向量线需满足：
$$\{\begin{array}{ll}{W}^T{X}_i+b\ge 1,& Y_i=1;\\ W^T{X}_i+b\le -1,& Y_i=-1;\end{array}\text{\hspace{1em}(2)}$$
如图2所示，距离决策线最近的几个训练样本点（画红圈的）使$(2)$式中的等号成立，它们被称为支持向量，因此两个异类支持向量到超平面的距离之和为（结合$(1)$式和图）：
$$\gamma =\frac{2}{||W||}\text{\hspace{1em}(3)}$$

图中支持向量线所夹区域称为“间隔”。
原问题一组支持向量，并且使正负样本的支持向量到决策线中的距离最远，也就是要找满足$(2)$式条件的W和b,并使$\gamma$最大，即：$$\begin{gathered} \left(\genfrac{}{}{0ex}{}{max}{W,b}\right)\frac{2}{||W||} \\ s.t.Y_i(W^T{X}_i+b)\ge 1,i=1,2,...,n\text{\hspace{1em}(4)} \end{gathered}$$
$(4)$式就是支持向量机（SVM）的基本型。从式中可以看出，距离$\gamma$只与$W$有关系，与$b$并无关系，那为什么在求极大值时加上$b$呢。其实$b$是通过约束条件影响着$W$的取值，进而间接的对距离$\gamma$产生影响。
此时$(4)$式是一个不等式约束条件求极值问题，那么则可引用满足KKT条件的拉格朗日乘子法：$$L(W,b,\alpha )=\frac{1}{2}||W|{|}^2+\sum _{i=1}^n{\alpha }_i(1-Y_i(W^T{X}_i+b))，{\alpha }_i\ge 0\text{\hspace{1em}(5)}$$注意这里之所以是$1-Y_i(W^T{X}_i+b)$而不是$Y_i(W^T{X}_i+b)-1$，是因为要使其小于等于0（至于为什么要小于等于0，可以看本人的另一篇文章）。
令拉格朗日函数$L(W,b,\alpha )$对$W、b$的偏导为0得：$$W=\sum _{i=1}^n{\alpha }_i{Y}_i{X}_i\text{\hspace{1em}(6)}$$$$\sum _{i=1}^n{\alpha }_i{Y}_i=0\text{\hspace{1em}(7)}$$此时将$(6)$式和$(7)$式代入$(5)$式，可将$L(W,b,\alpha )$中的$W、b$消去，再考虑$(7)$式中的约束可得到：$$\begin{gathered} \left(\genfrac{}{}{0ex}{}{max}{\alpha }\right)\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{Y}_i{Y}_j{X}_i^T{X}_j \\ s.t.\sum _{i=1}^n{\alpha }_i{Y}_i=0, \\ {\alpha }_i\ge 0,i=1,2,...,n.\text{\hspace{1em}(8)} \end{gathered}$$对于$(8)$式使用SMO算法求解。解出$\alpha$后，可由$(6)$式求出$W$，SVM算法模型如下：$$\begin{gathered} f(X)=W^{T}X+b \\ =\sum _{i=1}^n{\alpha }_i{Y}_i{X}_i^{T}X+b\text{\hspace{1em}(9)} \end{gathered}$$由于是不等式约束条件最优化问题，因此上述的过程均服从以下KKT条件：$$\{\begin{array}{l}{\alpha }_i\ge 0\\ Y_{i}f(X_i)-1\ge 0\\ {\alpha }_i(Y_{i}f(X_i)-1)=0\end{array}\text{\hspace{1em}(10)}$$
由KKT条件可以看出，对于任意样本$(X_i,y_i)$，总有${\alpha }_i$=0或$Y_{i}f(X_i)=1$。然而$\alpha$=0，则该样本不会对f(x)有任何影响，也不会出现在$(9)$式的求和中，因此只有$\alpha >0$才有意义，那么此时$Y_{i}f(X_i)=1$，该式表示样本点在支持向量线上。由这个内容可以反应出：训练完成后，大部分的训练样本都是无效的，也无需保留，最终模型仅与支持向量有关。
因此通过下式可以解出b，其中$Y_s$和$X_s$是支持向量其中之一：$$Y_s(\sum _{i=1}^n{\alpha }_i{Y}_i{X}_i^T{X}_s+b)=1\text{\hspace{1em}(11)}$$一般来说求b值只需取任意一个支持向量即可，但为了模型有更好的鲁棒性，常使用所有支持向量求b的平均值。

SMO算法简介及应用

若所求参数有（${\alpha }_1，{\alpha }_2,...,{\alpha }_n$），该算法则是固定一个${\alpha }_i$之外的所有参数（可以想象除了这个参数以外其他参数均已达到最优），求解目标函数得到${\alpha }_i$，直到求完所有的$\alpha$为止。
此时以求$(8)$式中的$\alpha$为例。该问题中有约束条件${\sum }_{i=1}^n{\alpha }_i{Y}_i=0$，其中Y_i是已知的，若SMO只是固定一个参数${\alpha }_i$，那么该参数可直接由其他固定的参数导出，这样的话意义就不大了。因此，此时SMO是选择两个变量${\alpha }_i、{\alpha }_j$，并固定其他参数，这样，在参数初始化（${\alpha }_i、{\alpha }_j、b$）后SMO就可不断循环以下两步，直至所有参数都满足$(10)$式中的条件为止：
（1）选择一对需要更新的变量${\alpha }_i、{\alpha }_j$（为了方便叙述）;
（2）固定${\alpha }_i、{\alpha }_j$以外的参数，求解$(8)$式的中的目标函数得到更新后的${\alpha }_i、{\alpha }_j$
注意：在选择变量进行更新是有一定策略的，选择参数时有一个不满足KKT条件，目标函数就会迭代后增大，KKT违背的程度越大，变量更新后可能导致的目标函数值增幅越大。因此为了突出这一特点，SMO采用了一个启发式：使选取的两变量所对应样本之间的间隔最大。这样的话理论上两变量会有很大差别。
此时选取${\alpha }_1、{\alpha }_2$作为需要更新的变量，那么其余变量都为固定值（理论最优值），$(8)$式中约束可重写为：$${\alpha }_1{Y}_1+{\alpha }_2{Y}_2=c,{\alpha }_1\ge 0,{\alpha }_2\ge 0\text{\hspace{1em}(12)}$$ 其中 $$c=-\sum _{k\ne 1,2}{\alpha }_k{Y}_k\text{\hspace{1em}(13)}$$此时$(8)$式目标函数也变下式（constant表示不含${\alpha }_1,{\alpha }_2$的项，需注意的是$Y_i^2$=1）： $$maxZ({\alpha }_1,{\alpha }_2)={\alpha }_1+{\alpha }_2-(\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+Y_1{Y}_2{K}_{12}{\alpha }_1{\alpha }_2+Y_1{V}_1{\alpha }_1+Y_2{V}_2{\alpha }_2)+constant$$ K i j = X i T X j = X i X j T ,      i , j ∈ { 1 , 2 } K_{ij}=X_i^TX_j=X_iX_j^T, \ \ \ \ i,j\in \{1,2\} Kij​=XiT​Xj​=Xi​XjT​,    i,j∈{1,2} V i = ∑ j = 3 n α j Y j K i j ,      i ∈ { 1 , 2 } (14) V_i=\sum_{j=3}^n\alpha_jY_jK_{ij}, \ \ \ \ i\in \{1,2\}\tag{14} Vi​=j=3∑n​αj​Yj​Kij​,    i∈{1,2}(14) 将$(12)$式代入$(14)$式中消去${\alpha }_1$得到一个只关于参数${\alpha }_2$的一元函数： $$maxZ({\alpha }_2)=(c-{\alpha }_2{Y}_2)Y_1+{\alpha }_2-(\frac{1}{2}{K}_{11}(c-{\alpha }_2{Y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+Y_2{K}_{12}(c-{\alpha }_2{Y}_2){\alpha }_2+V_1(c-{\alpha }_2{Y}_2)+Y_2{V}_2{\alpha }_2)+constant\text{\hspace{1em}(15)}$$ 可以看到这是一个一元二次函数求极值问题，可以对目标函数进行求导，并令导函数为0：$$\frac{\partial Z({\alpha }_2)}{\partial {\alpha }_2}=c{K}_{11}{Y}_2-c{K}_{11}{Y}_2-(K_{11}+K_{22}-2K_{12}){\alpha }_2-Y_1{Y}_2+V_1{Y}_2-V_2{Y}_2+1=0\text{\hspace{1em}(16)}$$由于${\alpha }_2$有初始化，因此此处假设初始化的${\alpha }_2$为${\alpha }_2^{old}$，本次由梯度求出的${\alpha }_2$为${\alpha }_2^{new}$。
定义$E_i$表示该样本的预测值与真实值之差（其中$f(X_i)$是模型的预测结果式子同$(9)$式:$$E_i=f(X_i)-Y_i\text{\hspace{1em}(17)}$$用$(9)$式的$f(x_i)$来表示$(14)$式的$V_1,V_2$:$$V_1=f(X_1)-\sum _{j=1}^2{\alpha }_j{Y}_j{K}_{1j}-b\text{\hspace{1em}(18)}$$$$V_2=f(X_2)-\sum _{j=1}^2{\alpha }_j{Y}_j{K}_{2j}-b\text{\hspace{1em}(19)}$$将$(12),(18),(19)$式代入$(16)$式得：$$(K_{11}+K_{22}-2K_{12}){\alpha }_2^{new}=(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}+Y_2(f(x_1)-Y_1-f(x_2)+Y_2)\text{\hspace{1em}(20)}$$将$(17)$式代入上式，并令$(K_{11}+K_{22}-2K_{12})=\eta$得：$${\alpha }_2^{new}={\alpha }_2^{old}+Y_2\frac{E_1-E_2}{\eta }\text{\hspace{1em}(21)}$$上式则是拉格朗日乘子最终的更新公式。
此时可用求得的${\alpha }_2^{new}$去更新b值。由${\alpha }_2^{new}$求出的b值为$b_2^{new}$。此时$X_2$就是”支持向量“，在$(11)$式中的两边同时乘$Y_2$可得：$$b_2^{new}=Y_2-\sum _{i=1}^n{\alpha }_i{Y}_i{X}_i^T{X}_2\text{\hspace{1em}(22)}$$由于其他n-2个参数是固定的，因此$${\alpha }_1^{new}{Y}_1+{\alpha }_2^{new}{Y}_2={\alpha }_1^{old}{Y}_1+{\alpha }_2^{old}{Y}_2\text{\hspace{1em}(23)}$$此时则可求出${\alpha }_1^{new}$。之后${\alpha }_1^{new}$根据$(22)$式可得到$b_1^{new}$，为了使模型更鲁棒可以求平均：$$b^{new}=\frac{1}{2}(b_1^{new}+b_2^{new})\text{\hspace{1em}(24)}$$

SVM的总结与扩展

1.SVM看上去是在更新权值($W$)和偏置($b$)，实际上是在更新拉格朗日乘子$\alpha$，因为模型的权值和偏置都可由$\alpha$表示。
2.从文中的推导过程可以知道，算法消耗计算资源太大，不适用于处理太多的样本数据；
3.本文说描述的SVM只适用于做分类任务，其实它还可以做回归任务，只不过做回归任务时需换一种思维去理解支持向量线间的距离；
4.在SVM的简介中了解到，SVM不可解决线性不可分任务，但是可以让它在一定条件或函数的基础去解决线性可分问题。比如加入正则项使“硬间隔”变为“软间隔”，或通过核函数使线性不可分问题变为线性可分问题。