机器学习05|一万五字：SVM支持向量机01 【原理详解篇】

---

本文用到的所有数据 机器学习05:SVM【代码及数据文件】】

本文为SVM支持向量机系列第一篇，主要讲解原理及计算。详细代码及解析，请参考第二篇博客：
机器学习05|一万五字：SVM支持向量机02 【jupyter代码详解篇】

一 SVM简单介绍

支持向量机(Support Vector Machine，SVM)是Corinna Cortes和Vapnik等于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。 在机器学习中，支持向量机是与相关的学习算法有关的监督学习模型，可以分析数据、识别模式，用于分类和回归分析。

二 函数间隔与几何间隔

对一个数据点进行分类，当超平面离数据点的“间隔”越大，分类的确信度（confidence）也越大。所以，为了使得分类的确信度尽量高，需要让所选择的超平面能够最大化这个“间隔”值。这个间隔就是下图中的Gap的一半。

2.1 函数间隔

定义函数间隔为：
$$\hat{\gamma }=y(w^{T}x+b)=yf(x)$$
而超平面(w，b)关于T中所有样本点($x_i$，$y_i$)的函数间隔最小值（其中，x是特征，y是结果标签，i表示第i个样本），便为超平面(w, b)关于训练数据集T的函数间隔。 但这样定义的函数间隔有问题，即如果成比例的改变w和b（如将它们改成2w和2b），则函数间隔的值f(x)却变成了原来的2倍（虽然此时超平面没有改变），所以只有函数间隔还不够，我们要引入几何间隔。

2.2 几何间隔

在几何学里，点($x_i$，$y_i$)到直线$ax+by+c=0$的距离公式:
$$d(x_i,y_i)=\frac{|a{x}_i+b{y}_i+c|}{\sqrt{a^2+b^2}}$$
所以在二维空间中，几何间隔就是点到直线的距离；在三维空间中，几何间隔是点到空间上一平面的距离；而在SVM中，平面变成了超平面，几何间隔便是样本点到超平面的距离：
$${\gamma }_i=y_i(\frac{w^T}{\Vert w\Vert }{x}_i+\frac{b}{\Vert w\Vert })$$

三 最大间隔分类器

如下图所示，中间的实线便是寻找到的最优超平面（Optimal Hyper Plane），其到两条虚线边界的距离相等，虚线边界上的点到最优超平面的距离便是几何间隔，两条虚线间隔边界之间的距离等于2倍的几何间隔，而虚线间隔边界上的点则是支持向量。而对于所有不是支持向量的点，有如下关系：
$y(w^{T}x+b)>1$

函数间隔不适合用来最大化间隔值，因为在超平面固定以后，可以等比例地缩放w的长度和b的值，这样可以使得的值任意大，亦即函数间隔可以在超平面保持不变的情况下被取得任意大。但几何间隔因为除上了$\Vert w\Vert$，使得在缩放w和b的时候几何间隔的值是不会改变的，它只随着超平面的变动而变动，因此，这是更加合适的一个间隔。换言之，这里要找的最大间隔分类超平面中的“间隔”指的是几何间隔。 于是最大间隔分类器（maximum margin classifier）的目标函数可以定义为： 同时需满足一些条件，根据间隔的定义，有
$$y_i(w^T{x}_i+b)={\hat{\gamma }}_i>=\hat{\gamma },i=1,2,...,n$$
距离超平面最近的这几个训练样本点使得等式成立，它们被称为支持向量，这些支持向量到到超平面的距离是$\frac{1}{w}$
从而上述目标函数转化成了：
$$max\frac{1}{\Vert w\Vert },s.t.y_i(w^T{x}_i+b)>=1,i=1,2,...,n$$

相当于在相应的约束条件下，最大化这个$\frac{1}{\Vert w\Vert }$值，而$\frac{1}{\Vert w\Vert }$便是要求解的几何间隔。

通过以上的介绍，我们得出支持向量机的目标函数，但往往这个问题不是那么容易解决，所以需要将其转化为其对偶形式求解，往往对对偶形式求解会比直接对原问题求解方便很多。

四 原始问题到对偶问题的求解

接着考虑之前得到的目标函数：
$$max\frac{1}{\Vert w\Vert }$$ $$s.t.y_i(w^T{x}_i+b)>=1,i=1,2,...,n$$
由于求$\frac{1}{\Vert w\Vert }$的最大值相当于求$\Vert w\Vert$的最小值，也相当于求$\frac{1}{2}{\Vert w\Vert }^2$的最小值，所以上述目标函数等价于：
$$min\frac{1}{2}{\Vert w\Vert }^2$$ $$s.t.y_i(w^T{x}_i+b)>=1,i=1,2,...,n$$

此外，由于这个问题的特殊结构，还可以通过拉格朗日对偶性（Lagrange Duality）变换到对偶变量 (dual variable) 的优化问题，即通过求解与原问题等价的对偶问题（dual problem）得到原始问题的最优解，这就是线性可分条件下支持向量机的对偶算法，这样做的优点在于：一者对偶问题往往更容易求解；二者可以自然的引入核函数，进而推广到非线性分类问题。 那什么是拉格朗日对偶性呢？简单来讲，通过给每一个约束条件加上一个拉格朗日乘子（Lagrange multiplier），定义拉格朗日函数（通过拉格朗日函数将约束条件融合到目标函数里去，从而只用一个函数表达式便能清楚的表达出我们的问题）：
$$L\left(w,b,\alpha \right)=\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^n{\alpha }_i⟮y_i\left(w^T{x}_i+b\right)-1⟯$$
然后令：
$$\theta \left(w\right)=maxL\left(w,b,\alpha \right),{\alpha }_i>=0$$

容易验证，当某个约束条件不满足时，例如$y_i\left(w^T{x}_i+b\right)<1$，那么显然有$\theta \left(w\right)=\infty$（只要令${\alpha }_i=\infty$即可）。而当所有约束条件都满足时，则最优值为$\theta \left(w\right)=\frac{1}{2}{w}^2$，亦即最初要最小化的量。 因此，在要求约束条件得到满足的情况下最小化$\frac{1}{2}{w}^2$，实际上等价于直接最小化$\theta \left(w\right)$（当然，这里也有约束条件，就是${\alpha }_i>=0,i=1,...,n)$，因为如果约束条件没有得到满足，会等于无穷大，自然不会是我们所要求的最小值。 具体写出来，目标函数变成了：
$$\underset{w,b}{\min }\theta \left(w\right)=\underset{w,b}{\min }\underset{{\alpha }_i>=0}{\max }L\left(w,b,\alpha \right)=p^{\ast }$$
这里用$p^{\ast }$表示这个问题的最优值，且和最初的问题是等价的。如果直接求解，那么一上来便得面对w和b两个参数，而又是不等式约束，这个求解过程不好做。不妨把最小和最大的位置交换一下，变成：
$$\underset{{\alpha }_i>=0}{\max }\underset{w,b}{\min }L\left(w,b,\alpha \right)=d^{\ast }$$

交换以后的新问题是原始问题的对偶问题，这个新问题的最优值用来$d^{\ast }$来表示。而且有$d^{\ast }\le p^{\ast }$，在满足某些条件的情况下，这两者相等，这个时候就可以通过求解对偶问题来间接地求解原始问题。

换言之，之所以从min max的原始问题$p^{\ast }$，转化为max min的对偶问题$d^{\ast }$，一者因为是近似解，二者，转化为对偶问题后，更容易求解。 下面可以先求L对w、b的极小，再求L对$\alpha$的极大。

五 对偶问题的求解

$$L\left(w,b,\alpha \right)=\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^n{\alpha }_i⟮y_i\left(w^T{x}_i+b\right)-1⟯$$

首先固定$\alpha$,要让L关于w和b最小化，我们分别对w,b求偏导数，即令：

$$\frac{\partial L}{\partial w}=0$$
$$\frac{\partial L}{\partial b}=0$$

$$\frac{\partial L}{\partial w}=0\Rightarrow \parallel w\parallel =\sum _{i=1}^n{\alpha }_i{y}_i{x}_i$$
$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^n{\alpha }_i{y}_i=0$$
将以上结果带入之前的$L\left(w,b,\alpha \right)$：
$$L(w,b,\alpha )=\frac{1}{2}{w}^2-\sum _{i=1}^n{\alpha }_i⟮y_i\left(w^T{x}_i+b\right)-1⟯$$

得到：
$$L(w,b,\alpha )=\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i}^T{x}_j-\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i}^T{x}_j-b\sum _{i=1}^n{\alpha }_i{y}_i+\sum _{i=1}^n{\alpha }_i=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i}^T{x}_j$$

求对$\alpha$的极大，即是关于对偶问题的最优化问题。经过上面一个步骤的求w和b，得到的拉格朗日式子已经没有了变量w,b，只有$\alpha$。从上面的式子得到：
$$\underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i}^T{x}_j$$
$$s.t.,{\alpha }_i>=0,i=1,...,n$$
$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$

这样，求出了${\alpha }_i$，根据:$$w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i$$
即可求出w，然后通过
$$b^{\ast }=-\frac{{\max }_{i:y^i=-1}{w}^T{x}^i+{\min }_{i:y^i=1}{w}^T{x}^i}{2}$$
即可求出b，最终得出分离超平面和分类决策函数。

在求得$L(w,b,\alpha )$关于w和b最小化，以及对$\alpha$的极大之后，最后一步可以利用SMO算法求解对偶问题中的拉格朗日乘子$\alpha$。

在我们刚开始讨论支持向量机时，我们就假定数据是线性可分的，也就是我们可以找到一个可行的超平面将数据完全分开。但是如果数据有噪音，而不是因为数据本身不是非线性结构。对于这种偏离正常位置很远的数据点，我们称之为outlier。

六 使用松弛变量处理outliers方法

在原先的SVM模型中，outlier的存在可能造成很大的影响，因为超平面本身就是只有少数几个support vector组成，如果这些support vector里又存在outlier的话，其影响就很大了。例如下图：

用黑圈圈起来的那个蓝点是一个 outlier ，它偏离了自己原本所应该在的那个半空间，如果直接忽略掉它的话，原来的分隔超平面还是挺好的，但是由于这个 outlier 的出现，导致分隔超平面不得不被挤歪了，变成途中黑色虚线所示（这只是一个示意图，并没有严格计算精确坐标），同时 margin 也相应变小了。当然，更严重的情况是，如果这个 outlier 再往右上移动一些距离的话，我们将无法构造出能将数据分开的超平面来。

为了处理这种情况，SVM 允许数据点在一定程度上偏离一下超平面。例如上图中，黑色实线所对应的距离，就是该 outlier 偏离的距离，如果把它移动回来，就刚好落在原来的超平面蓝色间隔边界上，而不会使得超平面发生变形了。

我们原来的约束条件变成了：
$$y_i(w^T{x}_i+b)>=1,i=1,...,n$$
现在考虑outlier的问题，约束条件变成了：
$$y_i(w^T{x}_i+b)>=1-{\epsilon }_i,i=1,...n$$

其中${\epsilon }_i>=0$称为松弛变量，对应数据点$x_i$允许偏离的function margin的量。当然，如果我们运行${\epsilon }_i$任意大的话，那任意的超平面都是符合条件的了。所以，我们在原来的目标函数后面加上一项，使得这些${\epsilon }_i$的总和也要最下：
$$\min \frac{1}{2}{\parallel w\parallel }^2+C\sum _{i=1}^n{\epsilon }_i$$

其中C是一个参数，用于控制目标函数中两项(“寻找margin最大的超平面和保证数据点偏差量最小”）之间的权重。注意，其中$\epsilon$是需要优化的变量之一，而C是一个事先确定好的常量。完整地写出来是这个样子：
$$\min \frac{1}{2}{\parallel w\parallel }^2+C\sum _{i=1}^n{\epsilon }_i$$
$$s.t{y}_i(w^T{x}_i+b)>=1-{\epsilon }_i,i=1,...n$$
$${\epsilon }_i>=0,i=1,...,n$$

用之前的方法将约束条件加入到目标函数中，得到的新的拉格朗日函数，如下所示：
$$L(w,b,\epsilon ,\alpha ,\gamma )=\frac{1}{2}{\parallel w\parallel }^2+C\sum _{i=1}^n{\epsilon }_i-\sum _{i=1}^n{\alpha }_i⟮y_i\left(w^T{x}_i+b\right)-1+{\epsilon }_i⟯-\sum _{i=1}^n{\gamma }_i{\epsilon }_i$$

分析方法和前面一样，转换为另一个问题后，我们先让L针对$w,b和\epsilon$最小化：
$$\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}n{\alpha }_i{y}_i{x}_i$$

$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^n{\alpha }_i{y}_i=0$$

$$\frac{\partial L}{\partial {\epsilon }_i}=0\Rightarrow C-{\alpha }_i-{\gamma }_i=0,i=1,...,n$$
将$w$带回L并化简，得到和原来一样的目标函数：
$$\underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j<x_i,x_j>$$
$$s.t.0<={\alpha }_i<=C,i=1,...,n$$
$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$
可以看到唯一区别就是现在dual variable $\alpha$多了一个上限C。

写到这里，可以做个小结，不准确的说，SVM它本质上即是一个分类方法，用$w^{T}x+b$定义分类函数，于是求w、b为寻找最大间隔。引出$\frac{1}{2}{\parallel w\parallel }^2$,继而引出拉格朗日因子，转化为对拉格朗日乘子$\alpha$的求解（求解过程会涉及一系列最优化或凸二次规划等问题），如此，求w、b与求$\alpha$等价，而$\alpha$的求解可以用一种快速学习算法SMO。

七 核函数

在以上的问题中，我们都假设数据本身都是线性可分的，事实上，大部分时候数据并不是线性可分的，这个时候满足这样的条件的超平面就根本不存在。在前面，我们已经了解到SVM处理线性可分的情况，那对于非线性的数据SVM如何处理？这时候SVM的处理方法是选择一个核函数K。通过将数据映射到高纬空间，来解决在原始空间中线性不可分的问题。

具体来说，在线性不可分的情况下，支持向量机首先在低维空间中完成计算，然后通过核函数将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分离超平面，从而把平面上本身不好分的非线性数据分开。如图所示，一维数据在二维空间无法划分，从而映射到三维空间里划分：

那么kernel是如何达到这个效果的呢？对于一个2维空间数据点v = (x, y)，要把它映射到3维空间，其中一种映射关系是：$p(x,y)=(x^2,\sqrt{2}xy,y^2)$。假如有任意两个数据点：$v_1=(x_1,y_1)$, $v_2=(x_2,y_2)$，我们可以直接计算它们对应向量的内积为：$$<p(v_1),p(v_2)>=<(x_1^2,\sqrt{2}{x}_1{y}_1,y_1^2),(x_2^2,\sqrt{2}{x}_2{y}_2,y_2^2)>$$
很明显，这是一个3维运算。假如3维还是无法线性区分，要映射到N维去，那这里就是N维运算，N越大计算量越大。有没有办法能够降低这个计算量呢？我们来展开推导一下：


$$<p(v_1),p(v_2)>=<(x_1^2,\sqrt{2}{x}_1{y}_1,y_1^2),(x_2^2,\sqrt{2}{x}_2{y}_2,y_2^2)>=(x_1{x}_2+y_1{y}_2{)}^2=(<v_1,v_2>{)}^2$$



经过推导可以看到，两个数据点在映射后的向量内积等于映射前向量内积的平方。如果我们引入核函数：$K(v_1,v_2)=(<v_1,v_2>{)}^2$，那么就可以通过核函数的计算来等价于映射后的向量内积，实现了高维向量运算转换为低维向量计算（本例中是2维向量运算代替了3维向量运算）。

核函数相当于把原来的分类函数：
$$f(x)=\sum _{i=1}^n{\alpha }_i{y}_i<x_i,x>+b$$
映射成：
$$f(x)=\sum _{i=1}^n{\alpha }_i{y}_i<\varphi (x_i),\varphi (x)>+b$$
而其中的$\alpha$可以通过求解如下的dual问题而得到的：
$$\underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j<\varphi (x_i),\varphi (x_j)>$$
$$s.t.,{\alpha }_i>=0,i=1,...,n$$
$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$
举个简单的例子，设两个向量$x_1={({\eta }_1,{\eta }_2)}^T和x_2={({\zeta }_1.{\zeta }_2)}^T，\varphi （）为映射关系。$映射后的内积为：
$$<\varphi (x_1),\varphi (x_2)>={\eta }_1{\zeta }_1+{\eta }_1^2{\zeta }_1^2+{\eta }_2{\zeta }_2+{\eta }_2^2{\zeta }_2^2+{\eta }_1{\eta }_2{\zeta }_1{\zeta }_2$$
另外，我们注意到：
$${(<x_1,x_2>+1)}^2=2{\eta }_1{\zeta }_1+{\eta }_1^2{\zeta }_1^2+2{\eta }_2{\zeta }_2+{\eta }_2^2{\zeta }_2^2+2{\eta }_1{\eta }_2{\zeta }_1{\zeta }_2+1$$
二者有很多相似的地方，实际上，我们只需要把某几个维度线性缩放一下，然后再加上一个常数维度，具体来说，上面这个式子的计算结果实际上和映射$\phi (x_1,x_2)={(\sqrt{2}{x}_1,x_1^2+\sqrt{2}{x}_2,x_2^2,\sqrt{2}{x}_1{x}_2,1)}^T$之后的内存$<\phi (x_1),\phi (x_2)>$的结果是相等的。区别在于一个是是映射到高维空间中，然后根据内积的公式进行计算；而另一个则是直接在原来的低维空间中进行计算，而不需要显示地写出映射后的结果。

我们把这里的计算两个向量在隐式映射过后的空间中的内积的函数叫做核函数，核函数能简化映射空间的内积运算。现在我们的分类函数为：
$$f(x)=\sum _{i=1}^n{\alpha }_i{y}_{i}K<x_i,x>+b$$
而其中的$\alpha$可以通过求解如下的dual问题而得到的：
$$\underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)$$
$$s.t.,{\alpha }_i>=0,i=1,...,n$$
$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$

八 SMO算法

在上面我们得到了最后的目标函数：
$$\underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j<x_i,x_j>$$
$$s.t.,0<={\alpha }_i<=C,i=1,...,n$$
$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$

等价于求：
$$\underset{\alpha }{\min }\Psi \left(\vec{\alpha }\right)=\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{y}_i{y}_{j}K⟨x_i,x_j⟩{\alpha }_i{\alpha }_j-\sum _{i=1}^n{\alpha }_i$$
$$0<={\alpha }_i<=C,i=1,...,n$$
$$\sum _{i=1}^n{y}_i{\alpha }_i=0$$
这里得到的min函数与我们之前的max函数实质是一样的。

下面要解决的问题是：在$\vec{\alpha }={\alpha }_1,{\alpha }_2,...{\alpha }_n$上求解目标函数的最小值。为了求解这些乘子，每次从中任意抽取两个乘子${\alpha }_1$和${\alpha }_2$，然后固定${\alpha }_1$和${\alpha }_2$以外的其它乘子${\alpha }_3,...,{\alpha }_n$，使得目标函数只是关于${\alpha }_1$和${\alpha }_2$的函数。这样，不断的从一堆乘子中任意抽取两个求解，不断迭代求解子问题，最终达到求解原问题的目的。
而原对偶问题的子问题的目标函数可以表达为：
$$\Psi =\frac{1}{2}{K}_{11}{{\alpha }_1}^2+\frac{1}{2}{K}_{22}{{\alpha }_2}^2+s{K}_{12}{\alpha }_1{\alpha }_2+y_1{\alpha }_1{\nu }_1+y_2{\alpha }_2{\nu }_2-{\alpha }_1-{\alpha }_2+{\Psi }_{constant}$$
其中:
$$K_{ij}=K(x_i,x_j)$$
$${\nu }_i=\sum _{j=3}^n{y}_j{{\alpha }_j}^{\ast }{K}_{ij}=u_i+b^{\ast }-y_1{{\alpha }_1}^{\ast }{K}_{1i}-y_2{{\alpha }_2}^{\ast }{K}_{2i}$$
$$u_i=w^T{x}_i+b$$

为了解决这个子问题，首要问题便是每次如何选取${\alpha }_1$和${\alpha }_2$。实际上，其中一个乘子是违反KKT条件最严重的，另外一个乘子则由另一个约束条件选取。
根据KKT条件可以得出目标函数中${\alpha }_i$取值的意义：
$${\alpha }_i=0\iff y_i{u}_i>=1$$
$$0<{\alpha }_i<C\iff y_i{u}_i=1$$
$${\alpha }_i=C\iff y_i{u}_i<=1$$
这里的${\alpha }_i$还是拉格朗日乘子：
1.对于第一种情况，表明${\alpha }_i$是正常分类，在间隔边界内部（我们知道正确分类的点$y_i\ast f(x_i)>=0$）
2.对于第二种情况，表明了${\alpha }_i$是支持向量，在间隔边界上；
3.对于第三种情况，表明了${\alpha }_i$是在两条间隔边界之间；

而最优解需要满足KKT条件，既满足3个条件都得满足，以下几种情况出现将会出现不满足：
$y_i{u}_i$<=1但是${\alpha }_i$<C则是不满足的,而原本${\alpha }_i$<C则是不满足的，而原本${\alpha }_i$=C
$y_i{u}_i$>=1但是${\alpha }_i$>0则是不满的，而原本${\alpha }_i$=0
$y_i{u}_i$=1但是${\alpha }_i$=0或者${\alpha }_i$=C则表明不满足，而原本应该是0<${\alpha }_i$<C

也就是说，如果存在不满足KKT条件的${\alpha }_i$，那么需要更新这些${\alpha }_i$，这是第一个约束条件。此外，更新的同时还要受到第二个约束条件的限制，即：
$$\sum _{i=1}^n{y}_i{\alpha }_i=0$$
因此，如果假设选择的两个乘子${\alpha }_1$和${\alpha }_2$，它们在更新之前分别是${{\alpha }_1}^{old}$、${{\alpha }_2}^{old}$,更新之后分别是${{\alpha }_1}^{new}$、${{\alpha }_2}^{new}$,那么更新前后的值需要满足以下等式才能保证和为0的约束：
$${{\alpha }_1}^{new}{y}_1+{{\alpha }_2}^{new}{y}_2={{\alpha }_1}^{old}{y}_1+{{\alpha }_2}^{old}{y}_2=\zeta$$
其中$\zeta$是常数。
两个因子不好同时求解，所以可先求第二个乘子${\alpha }_2$的解（${{\alpha }_2}^{new}$）,得到${\alpha }_2$的解之后，再利用${\alpha }_2$的解表示${\alpha }_1$的解（${{\alpha }_1}^{new}$）
为了求解${{\alpha }_2}^{new}$,得先确定${{\alpha }_2}^{new}$取值范围。假设它的上下边界分别为H和L，那么有：
$$L<={{\alpha }_2}^{new}<=H$$
接下来，综合$0<={\alpha }_i<=C,i=1,...,n和{{\alpha }_1}^{new}{y}_1+{{\alpha }_2}^{new}{y}_2={{\alpha }_1}^{old}{y}_1+{{\alpha }_2}^{old}{y}_{=}\zeta$这两个约束条件，求取${{\alpha }_2}^{new}$值范围。
当$y_1!=y_2$，根据${{\alpha }_1}^{new}{y}_1+{{\alpha }_2}^{new}{y}_2={{\alpha }_1}^{old}{y}_1+{{\alpha }_2}^{old}{y}_{=}\zeta$可得${{\alpha }_1}^{old}-{{\alpha }_2}^{old}=\zeta$,所以$L=\max (0,-\zeta ),H=\min (C,C-\zeta )$如下图所示：

当$y_1=y_2$时，同样根据${{\alpha }_1}^{new}{y}_1+{{\alpha }_2}^{new}{y}_2={{\alpha }_1}^{old}{y}_1+{{\alpha }_2}^{old}{y}_{=}\zeta$可得：${{\alpha }_1}^{old}+{{\alpha }_2}^{old}=\zeta$,所以有$L=\max (0,\zeta -C),H=\min (C,\zeta )$,如下图所示：

如此，根据$y_1$和$y_2$异号或同号，可得出${{\alpha }_2}^{new}$的上下界分别为：
$$L=\max (0,-\zeta ),H=\min (C,C-\zeta )if{y}_1!=y_2$$
$$L=\max (0,\zeta -C),H=\min (C,\zeta )if{y}_1=y_2$$

回顾下第二个约束条件${{\alpha }_1}^{new}{y}_1+{{\alpha }_2}^{new}{y}_2={{\alpha }_1}^{old}{y}_1+{{\alpha }_2}^{old}{y}_{=}\zeta$,令上式两边分别乘以$y_1$，可得${\alpha }_1+s{\alpha }_2={{\alpha }_1}^{\ast }+s{{\alpha }_2}^{\ast }=w$,其中:
$$w=-y_1\sum _{i=3}^n{y}_i{{\alpha }_i}^{\ast }$$
因此${\alpha }_1$可以用${\alpha }_2$表示，${\alpha }_1=w-s{\alpha }_2$,从而把子问题的目标函数转换为只含${\alpha }_2$的问题：
$$\Psi =\frac{1}{2}{K}_{11}{(w-s{\alpha }_2)}^2+\frac{1}{2}{K}_{22}{{\alpha }_2}^2+s{K}_{12}(w-s\alpha 2){\alpha }_2+y_1(w-s{\alpha }_2){\nu }_1-w+s{\alpha }_2+y_2{\alpha }_2{\nu }_2-{\alpha }_2+{\Psi }_{constant}$$
对${\alpha }_2$求导可得：
$$\frac{\mathrm{d}\Psi }{\mathrm{d}{\alpha }_2}=-s{K}_{11}(w-s{\alpha }_2)+K_{22}{\alpha }_2-K_{12}{\alpha }_2+s{K}_{12}(w-s{\alpha }_2)-y_2{\nu }_1+s+y_2{\nu }_2-1=0$$

化简如下:
$$\alpha 2(K_{11}+K_{22}-2K_{11})=s(K_{11}-K_{12})w+y_2({\nu }_1-{\nu }_2)+1-s$$
$$K_{ij}=K(x_i,x_j)$$
然后将$s=y_1\ast y_2$、${\alpha }_1+s{\alpha }_2={{\alpha }_1}^{\ast }+s{{\alpha }_2}^{\ast }=w$和${\nu }_i={\sum }_{j=3}^n{y}_j{{\alpha }_j}^{\ast }{K}_{ij}=u_i+b^{\ast }-y_1{{\alpha }_1}^{\ast }{K}_{1i}-y_2{{\alpha }_2}^{\ast }{K}_{2i}$代入上式可得：
$${{\alpha }_2}^{new,wnc}(K_{11}+K_{22}-2K_{12})={{\alpha }_2}^{old}(K_{11}+K_{22}-2K_{12})+y_2(u_1-u_2+y_2-y_1)$$

令$E_i=u_i-y_i$(表示预测值与真实值之差),$\eta =K<x_1,x_1)+K(x_2,x_2)-2K(x_1,x_2)$上式两边同时除以$\eta$，得到一个关于单变量${\alpha }_2$的解：
$${{\alpha }_2}^{new,wnc}={{\alpha }_2}^{old}+\frac{y_2(E_1-E_2)}{\eta }$$

这个解没有考虑约束条件$0<={\alpha }_2<=C$。考虑约束条件经过剪辑${\alpha }_2^{new}$的解为：
1 ${{\alpha }_2}^{new,wnc}>H$
$${{\alpha }_2}^{new}=H$$
2 $L<={{\alpha }_2}^{new,wnc}<=H$
$${{\alpha }_2}^{new}={{\alpha }_2}^{new,wnc}$$
3 ${{\alpha }_2}^{new,wnc}<L$
$${{\alpha }_2}^{new}=L$$
求出了${{\alpha }_2}^{new}后，便可求出{\alpha }_1^{new},得{\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})$
如何选择乘子${\alpha }_1和{\alpha }_2$呢？
对于${\alpha }_1,即第一个乘子,可以通过刚刚说的那三种不满足KKT的条件来找$；
而对于第二个乘子${\alpha }_2可以寻找满足条件:\max |E_i-Ej|的乘子。$
而b在满足下述条件下更新b：

1 $0<{\alpha }_1^{new}<C$
$$b=b_1$$
2 $0<{\alpha }_{2}new<C$
$$b=b_2$$
3 $otherwise$
$$b=\frac{b_1+b_2}{2}$$

$$b_1^{new}=b^{old}-E_1-y_1({\alpha }_1^{new}-{\alpha }_1^{old}k(x_1,x_1)-y_2({\alpha }_2^{new}-{\alpha }_2^{old})k(x_1,x_2)$$

$$b_2^{new}=b^{old}-y_1({\alpha }_1^{new}-{\alpha }_1^{old})k(x_1,x_2)-y_2({\alpha }_2^{new}-{\alpha }_2^{old})k(x_2,x_2)-E_2$$
且每次更新完两个乘子的优化后,都需要再重新计算b,以及对应的$E_i$值。
最后更新所有的${\alpha }_i,y和b,这样模型就训练出来了,从而即可求出我们开头提出的分类函数:$
$$f(x)=\sum _{i=1}^n{\alpha }_i{y}_i<x_i,x>+b$$