支持向量机算法推导

1.支持向量机的基本思想

基于训练集D在样本空间中找到一个划分超平面（在二维空间中为一条直线，在三维空间中为一个平面），将不同类别的样本分开。

问题来了，这样的超平面有很多，我们应该努力去找到哪一个呢，哪一个是最好的呢？基于上述问题，我们提出三个判定标准：1.可以正确分割样本；2.留有大量的余量，既分类超平面尽可能的离两类样本尽可能的远（分类超平面对测试样本有最强的泛化能力）3.位于两类训练样本“正中间”的超平面（也是为了最大化泛化能力）
基于以上判定标准，我们要选的分类超平面应该是这样的：正样本和负样本中离分类超平面最近的样本点，距离分类超平面的距离尽可能的大（最大化分类间隔）。

2.线性可分的问题

探讨这个问题之前，有一个假设前提，既所有训练样本都是线性可分的（这是一个理想状态，现实中很少有这样的情况，只是为了进一步的推导做铺垫）。

2.1点到超平面的距离

超平面可以用分类函数$f(x\text{x}x)={w\text{w}w}^{T}x\text{x}x+b$表示，当$f(x\text{x}x)$等于0的时候，$x\text{x}x$便是位于超平面上的点，而$f(x\text{x}x)$大于0的点对应 y=1 的数据点，$f(x\text{x}x)$小于0的点对应y=-1的数据点。
$w\text{w}w$是超平面的法向量，与超平面垂直。证明过程如下：设${x\text{x}x}_1$、${x\text{x}x}_2$是超平面上任意两点，$${w\text{w}w}^T{x\text{x}x}_1+b=0$$$${w\text{w}w}^T{x\text{x}x}_2+b=0$$$${w\text{w}w}^T({x\text{x}x}_1-{x\text{x}x}_2)=0$$
根据两个向量的数量积为零，两个向量相互垂直，可推出$w\text{w}w$与$({x\text{x}x}_1-{x\text{x}x}_2)$相互垂直，而$({x\text{x}x}_1-{x\text{x}x}_2)$是超平面内任意一向量，所以$w\text{w}w$与超平面垂直，既$w\text{w}w$是超平面的法向量，决定了超平面的方向。
训练集中任意样本点到超平面的距离可表示为：$$\gamma =\frac{\left|{w\text{w}w}^{T}x\text{x}x+b\right|}{\parallel w\text{w}w\parallel }$$
推到过程如下：
$$\gamma =\parallel \overrightarrow{AB}-\overrightarrow{OC}\parallel$$
$$\gamma =\parallel \frac{{w\text{w}w}^T}{\parallel w\text{w}w\parallel }x\text{x}x\frac{w\text{w}w}{\parallel w\text{w}w\parallel }-\frac{-b}{\parallel w\text{w}w\parallel }\frac{w\text{w}w}{\parallel w\text{w}w\parallel }\parallel$$
${w\text{w}w}^T/\parallel w\text{w}w\parallel$表示$w\text{w}w$向量的单位向量，与向量$x\text{x}x$进行数量积操作，结果为表示向量$x\text{x}x$在$w\text{w}w$方向上投影的长度，在乘以$w\text{w}w$方向上的单位向量既为向量$\overrightarrow{AB}$
$$\overrightarrow{OC}={\lambda }_0\frac{w\text{w}w}{\parallel w\text{w}w\parallel }$$
$${w\text{w}w}^T{\lambda }_0\frac{w\text{w}w}{\parallel w\text{w}w\parallel }+b=0$$
$${\lambda }_0=\frac{-b}{\parallel w\text{w}w\parallel }$$
$$\overrightarrow{OC}=\frac{-b}{\parallel w\text{w}w\parallel }\frac{w\text{w}w}{\parallel w\text{w}w\parallel }$$

2.2线性可分的原问题

对于正样本：${w\text{w}w}^{T}x\text{x}x+b\ge 0$
对于负样本：${w\text{w}w}^{T}x\text{x}x+b\le 0$
可以统一写成$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\ge 0$ y i ∈ { − 1 , + 1 } y_i\in\{-1,+1\} yi​∈{−1,+1}
为了消除冗余并简化问题，我们令正样本或负样本距离分类超平面最近的点：
$$mi{n}_i\left|{w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right|=1$$
因此‘'间隔“（margin）为：
$$d={\gamma }^{+}+{\gamma }^{-}$$
$$d=\frac{1}{\parallel w\text{w}w\parallel }+\frac{1}{\parallel w\text{w}w\parallel }=\frac{2}{\parallel w\text{w}w\parallel }$$
线性可分的问题为（带有不等式的最小化问题）：
$$min(\frac{1}{2}{w\text{w}w}^{T}w\text{w}w)$$
$$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\ge 1$$
证明这个问题是凸优化问题：
 
 
补充知识开始
凸优化问题有两个限定：1变量的可行域是一个凸集；2目标函数是一个凸函数。
凸集的定义为，如果变量$x,y\in C$，那么他们连线上的任何一个点 $\theta x+(1-\theta )y\in C$，$0\le \theta \le 1$。几个典型的凸集：${\mathbb{R}}^n$， { x ∈ R n : A x = b } \{\pmb{x}\in\mathbb{R}^n:A\pmb{x}=b\} {xxx∈Rn:Axxx=b}，${\mathbb{R}}^n$， { x ∈ R n : A x ≤ b } \{\pmb{x}\in\mathbb{R}^n:A\pmb{x}\leq b\} {xxx∈Rn:Axxx≤b}，以及$\cap C_i$（多个凸集的交集）。
凸函数的定义为，$f(\theta x\text{x}x+(1-\theta )y\text{y}y<\theta f(x\text{x}x)+(1-\theta )f(y\text{y}y)$。
一阶判别法：
一元函数：$f(x^{\prime })\ge f\prime (x)(x^{\prime }-x)+f(x)$，抛物线上任意一点的切线在抛物线的下方。
多元函数：$f({x\text{x}x}^{\prime })\ge \nabla f(x\text{x}x)({x\text{x}x}^{\prime }-x\text{x}x)+f(x\text{x}x)$
二阶判别法：
一元函数：$f\prime \prime (x)\ge 0$
多元函数：Hessian矩阵为半正定矩阵。如果为正定矩阵，那么为严格的凸函数
其他判别法：
$f(x\text{x}x)={\sum }_{i=0}^n{w}_i{f}_i(x\text{x}x)$ ， 多个凸函数的线性相加仍未凸函数
补充知识结束
 
 
1.$w\text{w}w$的可行域为多个线性不等式围成的区域，因此其可行域为凸集。
2.$\frac{1}{2}{w\text{w}w}^{T}w\text{w}w$为凸函数，因为其Hessian矩阵为单位矩阵（$\frac{1}{2}(w_1^2+w_2^2+w_3^2+w_4^2+\dots +w_n^2)$，因此函数为严格凸函数。
基于以上两点，这是一个凸优化的问题。
利用拉格朗日乘子法解决带有约束的优化问题：
$$L(w\text{w}w,b,\alpha )=\frac{1}{2}\parallel w\text{w}w{\parallel }^2-\sum _{i=1}^l{\alpha }_i(y_i({w\text{w}w}^T{x}_i\text{xi}{x}_i+b)-1)$$
其原问题为：
$$mi{n}_{w,b}ma{x}_{\alpha }L(w\text{w}w,b,\alpha )$$

2.3线性可分的对偶问题

 
 
补充知识开始
对偶问题的基本思想：把难以解决的原始问题，转换为等价的另一个问题，且另一个问题要容易求解一些。
广义的拉格朗日乘子法（带有一组等式约束和一组不等式约束）：
$minf(x\text{x}x)$
$g_i(x\text{x}x)\le 0i=1,\dots ,m$
$h{i}_i(x\text{x}x)=0i=1,\dots ,p$
$$L(x\text{x}x,\lambda ,\nu )=f(x\text{x}x)+\sum _{i=1}^m{\lambda }_i{g}_i(x\text{x}x)+\sum _{i=1}^p{\nu }_i{h}_i(x\text{x}x)$$
原问题：
$$p^{\ast }=mi{n}_{x}ma{x}_{\lambda ,\nu ,{\lambda }_i\ge 0}L(x\text{x}x,\lambda ,\nu )$$
原问题分两步来求解，第一步固定$x\text{x}x$（把$x\text{x}x$当成常数），变动$\lambda ,\nu$，取最大值；第二步，变动$x\text{x}x$取最小值。原问题等价于我们要求解的问题，证明思路：因为${\lambda }_i\ge 0,g(x\text{x}x)\le 0$，所以${\sum }_{i=1}^m{\lambda }_i{g}_i(x\text{x}x)$最大等于零。因为$h{i}_i(x\text{x}x)=0$，所以${\sum }_{i=1}^p{\nu }_i{h}_i(x\text{x}x)$等于零。综上当变动$\lambda ,\nu$时，函数的最大值就是$f(x\text{x}x)$，原问题就变成了$mi{n}_{x}f(x\text{x}x)$。
对偶问题：
$$d^{\ast }=ma{x}_{\lambda ,\nu ,{\lambda }_i\ge 0}mi{n}_{x}L(x\text{x}x,\lambda ,\nu )$$
弱对偶：
$$d^{\ast }=ma{x}_{\lambda ,\nu ,{\lambda }_i\ge 0}mi{n}_{x}L(x\text{x}x,\lambda ,\nu )\le mi{n}_{x}ma{x}_{\lambda ,\nu ,{\lambda }_i\ge 0}L(x\text{x}x,\lambda ,\nu )=p^{\ast }$$
强对偶：
满足slatter条件（充分非必要条件）可以转为强对偶，1.原始问题为一个凸优化问题；2.存在一个可行解，另不等式约束$g_i(x\text{x}x)$严格满足，也就是不等式不能取等号（所有$g_i(x\text{x}x)$都小于零）
$$d^{\ast }=ma{x}_{\lambda ,\nu ,{\lambda }_i\ge 0}mi{n}_{x}L(x\text{x}x,\lambda ,\nu )=mi{n}_{x}ma{x}_{\lambda ,\nu ,{\lambda }_i\ge 0}L(x\text{x}x,\lambda ,\nu )=p^{\ast }$$
补充知识结束
 
 
原问题满足slatter条件：
1.原问题是一个凸优化问题，前面以证明；2.至少存在一组$w\text{w}w,b$使$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\ge 1$成立，那么$100w\text{w}w,100b$也是满足条件的解，一定可以让$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)>1$成立。
原问题转换为对偶问题：
$$mi{n}_{w,b}ma{x}_{\alpha }L(w\text{w}w,b,\alpha )=ma{x}_{\alpha }mi{n}_{w,b}L(w\text{w}w,b,\alpha )$$
$$L(w\text{w}w,b,\alpha )=\frac{1}{2}\parallel w\text{w}w{\parallel }^2-\sum _{i=1}^l{\alpha }_i(y_i({w\text{w}w}^T{x}_i\text{xi}{x}_i+b)-1)$$
$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^l{\alpha }_i{y}_i=0$$
$${\nabla }_{w}L=0\Rightarrow w\text{w}w=\sum _{i=1}^l{\alpha }_i{y}_i{x}_i\text{xi}{x}_i$$
带入原式得出：
$$ma{x}_{\alpha }-\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j+\sum _{k=1}^l{\alpha }_k$$
转换为新的最优化问题：
$$mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j-\sum _{k=1}^l{\alpha }_k$$
$${\alpha }_i\ge 0,i=1,\dots ,l$$
$$\sum _{i=1}^l{\alpha }_i{y}_i=0$$

预测超平面方程为：
$$w\text{w}w=\sum _{i=1}^l{\alpha }_i{y}_i{x}_i\text{xi}{x}_i$$
每一个样本都对应一个${\alpha }_i$，当${\alpha }_i$不等于0时，其对应样本对$w\text{w}w$的计算产生作用，这样的向量成为支持向量。
$$f(x\text{x}x)=\sum _{i=1}^l{\alpha }_i{y}_i{x_i\text{xi}{x}_i}^{T}x\text{x}x+b$$

3.线性不可分的问题

线性可分过于理想化，实际中遇到的样本绝大多数都是线性不可分的。下面我们将得到的方程进行扩展，使之可以处理线性不可分的问题。
线性可分的问题：
$$min\frac{1}{2}{w\text{w}w}^{T}w\text{w}w$$
$$y_i\left({w\text{w}w}^{T}x\text{x}x+b\right)\ge 1$$
线性不可分的问题是在原问题的基础上加上松弛变量$\xi$和惩罚因子$C$，增加松弛因子后，允许样本点落在”间隔“内：
$$min(\frac{1}{2}{w\text{w}w}^{T}w\text{w}w+C\sum _{i=1}^l{\xi }_i)$$
$$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\ge 1-{\xi }_i$$
$$-(y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)-1+{\xi }_i)\le 0$$
$$-{\xi }_i\le 0,i=1,2,\dots ,l$$

这仍然是一个凸优化问题，并满足Slater条件，证明同上。构建拉格朗日乘子函数：
$$L(w\text{w}w,b,\alpha ,\xi ,\beta )=\frac{1}{2}\parallel w\text{w}w{\parallel }^2+C\sum _{i=i}^l{\xi }_i-\sum _{i=1}^l{\alpha }_i(y_i({w\text{w}w}^T{x}_i\text{xi}{x}_i+b)-1)-\sum _{i=1}{\beta }_i{\xi }_i$$
原问题为：
$$mi{n}_{w,b,\beta ,\xi }ma{x}_{\alpha }L(w\text{w}w,b,\alpha ,\xi ,\beta )$$
对偶问题为：
$$ma{x}_{\alpha }mi{n}_{w,b,\beta ,\xi }L(w\text{w}w,b,\alpha ,\xi ,\beta )$$
$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^l{\alpha }_i{y}_i=0$$
$${\nabla }_{\xi }L=0\Rightarrow {\alpha }_i+{\beta }_i=C$$
$${\nabla }_{w}L=0\Rightarrow w\text{w}w=\sum _{i=1}^l{\alpha }_i{y}_i{x}_i\text{xi}{x}_i$$
带入原式转化为新的问题：
$$mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j-\sum _{k=1}^l{\alpha }_k$$
$$0\le {\alpha }_i\le C,i=1,\dots ,l$$
$$\sum _{i=1}^l{\alpha }_i{y}_i=0$$
仍然是一个线性模型，预测方程为：
$$f(x\text{x}x)=\sum _{i=1}^l{\alpha }_i{y}_i{x_i\text{xi}{x}_i}^{T}x\text{x}x+b$$

4.KKT条件对原问题最优解的约束

 
 
补充知识开始：KKT条件
广义的拉格朗日乘子法（带有一组等式约束和一组不等式约束）：
$minf(x\text{x}x)$
$g_i(x\text{x}x)\le 0i=1,\dots ,m$
$h{i}_i(x\text{x}x)=0i=1,\dots ,p$
$$L(x\text{x}x,\lambda ,\nu )=f(x\text{x}x)+\sum _{i=1}^m{\lambda }_i{g}_i(x\text{x}x)+\sum _{i=1}^p{\nu }_i{h}_i(x\text{x}x)$$
在极值点处必须满足如下条件：
$${\nabla }_{x}L({x\text{x}x}^{\ast })=0$$
$${\lambda }_i\ge 0$$
$${\lambda }_i{g}_i({x\text{x}x}^{\ast })=0$$
$$h_i({x\text{x}x}^{\ast })=0$$
$$g_i({x\text{x}x}^{\ast })\le 0$$
补充知识结束
 
 
线性不可分的原问题为：
$$min(\frac{1}{2}{w\text{w}w}^{T}w\text{w}w+C\sum _{i=1}^l{\xi }_i)$$
$$-(y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)-1+{\xi }_i)\le 0,i=1,2,\dots ,l$$
$$-{\xi }_i\le 0,i=1,2,\dots ,l$$
构建拉格朗日乘子函数：
$$L(w\text{w}w,b,\alpha ,\xi ,\beta )=\frac{1}{2}\parallel w\text{w}w{\parallel }^2+C\sum _{i=i}^l{\xi }_i-\sum _{i=1}^l{\alpha }_i(y_i({w\text{w}w}^T{x}_i\text{xi}{x}_i+b)-1)-\sum _{i=1}{\beta }_i{\xi }_i$$
根据KKT条件得出,在极值点处：
$${\alpha }_i(y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)-1+{\xi }_i)=0$$
$${\beta }_i{\xi }_i=0$$
当${\alpha }_i>0$
$$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)-1+{\xi }_i=0$$
$$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)=1-{\xi }_i$$
$${\xi }_i\ge 0$$
$$\Downarrow$$
$$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\le 1$$
当${\alpha }_i<C$
$${\alpha }_i+{\beta }_i=C$$
$$\Downarrow$$
$${\beta }_i>0({\beta }_i{\xi }_i=0)$$
$$\Downarrow$$
$${\xi }_i=0$$
$$\Downarrow$$
$$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\ge 1$$
综上当$0<{\alpha }_i<C$
$$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)=1$$
当${\alpha }_i=0$
$${\alpha }_i+{\beta }_i=C$$
$$\Downarrow$$
$${\beta }_i=C({\beta }_i{\xi }_i=0)$$
$$\Downarrow$$
$${\xi }_i=0$$
$$\Downarrow$$
$$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\ge 1$$
当${\alpha }_i=C$
$${\alpha }_i+{\beta }_i=C$$
$$\Downarrow$$
$${\beta }_i=0({\beta }_i{\xi }_i=0)$$
$$\Downarrow$$
$${\xi }_i\ge 0$$
$$\Downarrow$$
$$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\le 1$$
总结如下：
$${\alpha }_i=0\Rightarrow y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\ge 1$$
$$0<{\alpha }_i<C\Rightarrow y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)=1$$
$${\alpha }_i=C\Rightarrow y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\le 1$$

4.核函数

虽然引入了松弛变量和惩罚因子，可以处理线性不可分的问题，但SVM还是一个线性模型，只是允许错分样本的存在

4.1核映射

核映射$z\text{z}z=\varphi (x\text{x}x)$，将向量$x\text{x}x$映射为更高维的向量$z\text{z}z$。问题变为：
$$mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i\text{xi}{x}_i{)}^T\varphi (x_j\text{xj}{x}_j)-\sum _{k=1}^l{\alpha }_k$$
$$0\le {\alpha }_i\le C,i=1,\dots ,l$$
$$\sum _{i=1}^l{\alpha }_i{y}_i=0$$
这样做的缺点是，如果$x\text{x}x$本身的维度已经很高了，经过映射后边的维度更高，容易产生维度爆炸，导致计算困难。

4.2核函数

核函数先做内积，然后在做高维映射，其结果与核映射等价，这样就解决了上面的缺点：
$$K(x_i\text{xi}{x}_i,x_j\text{xj}{x}_j)=K({x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j)=\varphi (x_i\text{xi}{x}_i{)}^T\varphi (x_j\text{xj}{x}_j)$$
此时问题变为：
$$mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j)-\sum _{k=1}^l{\alpha }_k$$
$$0\le {\alpha }_i\le C,i=1,\dots ,l$$
$$\sum _{i=1}^l{\alpha }_i{y}_i=0$$

此时的预测方程为：
$$f(x\text{x}x)=\sum _{i=1}^l{\alpha }_i{y}_{i}K({x_i\text{xi}{x}_i}^{T}x\text{x}x)+b$$

4.3 常用的核函数

不是任何一个函数都也可以用来做核函数的。核函数必须满足Mercer条件：对任意的有限个样本的样本集，核矩阵半正定。

核函数	计算公式
线性核	$$K(x_i\text{xi}{x}_i,x_j\text{xj}{x}_j)={x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j$$
多项式核	$$K(x_i\text{xi}{x}_i,x_j\text{xj}{x}_j)=(\gamma {x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j+b{)}^d$$
高斯核	$$K(x_i\text{xi}{x}_i,x_j\text{xj}{x}_j)=exp(-\gamma \parallel x_i\text{xi}{x}_i-x_j\text{xj}{x}_j{\parallel }^2)$$
sigmoid核	$$K(x_i\text{xi}{x}_i,x_j\text{xj}{x}_j)=tanh(\gamma {x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j+b)$$

5.SMO算法

$$mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j)-\sum _{k=1}^l{\alpha }_k$$
$$0\le {\alpha }_i\le C,i=1,\dots ,l$$
$$\sum _{i=1}^l{\alpha }_i{y}_i=0$$

上述问题是要求解$l$个参数(${\alpha }_1,{\alpha }_2,{\alpha }_3,{\alpha }_4,\dots ,{\alpha }_l$)，令函数取最小值。有多种算法可以对上述问题求解，但是算法复杂度均很大。1998年，由Platt提出的序列最小最优化算法(SMO)可以高效的求解上述SVM问题。其基本思路是：如果所有变量的解都满足此最优化的KKT条件，那么这个最优化问题的解就得到了，因为KKT条件是该优化问题的充分必要条件。在实际操作过程中，每次选择两个变量，固定其他变量（当作常数），针对这两个变量构建一个二次规划问题，关于这两个变量的解应该更接近原始二次规划问题的解，因为这会使原始二次规划问题的目标函数值变得更小。这时子问题可以通过解析方法求解，这样可以大大提高整个算法的计算速度。

5.1 求解过程

第一步：设置$\alpha$列表，并设其初始值为0（每个样本对应一个${\alpha }_i$）
第二步：选取两个待优化变量，为了方便，记为${\alpha }_1$和${\alpha }_2$（启发式选择变量，后面细讲）
第三步：解释地求解两个变量的最优解${\alpha }_1^{\ast }$和${\alpha }_2^{\ast }$，并更新至$\alpha$列表中
第四步：检查更新后的$\alpha$列表是否在某个精度范围内满足KKT条件，若不满足返回第二步。

5.2 转换为二元函数

为了求解$l$个参数，首先想到的是坐标上升的思路，例如求解${\alpha }_1$，可以固定其他$l$-1个参数，可以看成关于${\alpha }_1$的一元函数求解，但是注意到上述问题的等式约束条${\sum }_{i=1}^l{\alpha }_i{y}_i=0$件，如果值变动一个参数，等式约束条件将被违反，所以至少要两个参数一起变动。假设选择的变量为${\alpha }_1$和${\alpha }_2$，并固定其他参数${\alpha }_3$，${\alpha }_4$，$\dots$，${\alpha }_l$，可以简化目标函数为只关于${\alpha }_1$和${\alpha }_2$的二元函数。
$$mi{n}_{{\alpha }_1,{\alpha }_2}=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\upsilon }_1{\alpha }_1+y_2{\upsilon }_2{\alpha }_2+Constant$$
$$K_{ij}=K({x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j)$$
$${\upsilon }_i=\sum _{j=3}^l{\alpha }_j{y}_{j}K({x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j),i=1,2$$

5.3 转为一元函数

由等式约束可得：
$${\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^l{\alpha }_i{y}_i=\xi$$
等式两边同乘以$y_1$，且$y_1^2=1$，结果为：
$$\alpha 1=(\xi -y_2{\alpha }_2)y_1$$
将其带入二元函数方程，得到只关于参数${\alpha }_2$的一元函数，由于常数项不影响目标函数的解，以下省略掉常数项，结果为：
$$mi{n}_{{\alpha }_2}=\frac{1}{2}{K}_{11}(\xi -y_2{\alpha }_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}(\xi -y_2{\alpha }_2){\alpha }_2-(\xi -y_2{\alpha }_2)y_1-{\alpha }_2+{\upsilon }_1(\xi -y_2{\alpha }_2)+y_2{\upsilon }_2{\alpha }_2$$

5.4 求一元函数的极值点

上式是关于变量${\alpha }_2$的函数，对上式求导并令其为0得：
$$(K_{11}+K22-2K12){\alpha }_2-K_{11}\xi y_2+K_{12}\xi y_2+y_1{y}_2-1-{\upsilon }_1{y}_2+{\upsilon }_2{y}_2=0$$
由上式中假设求得了${\alpha }_2$的解，带入下式可求得${\alpha }_1$的解
$${\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^l{\alpha }_i{y}_i=\xi$$
分别记为${\alpha }_1^{new}$，${\alpha }_2^{new}$，优化前的值记为${\alpha }_1^{old}$，${\alpha }_2^{old}$，可得出：
$${\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2=-\sum _{i=3}^l{\alpha }_i{y}_i={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2=\xi$$
$$\Downarrow$$
$$\xi ={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2$$

改写${\upsilon }_i$，得出：
$${\upsilon }_i=\sum _{j=3}^l{\alpha }_j{y}_{j}K({x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j),i=1,2$$
$$f(x_1\text{x1}{x}_1)=\sum _{i=1}^l{\alpha }_i{y}_{i}K({x_i\text{xi}{x}_i}^T{x}_1\text{x1}{x}_1)+b$$
$$f(x_2\text{x2}{x}_2)=\sum _{i=1}^l{\alpha }_i{y}_{i}K({x_i\text{xi}{x}_i}^T{x}_2\text{x2}{x}_2)+b$$
$$\Downarrow$$
$${\upsilon }_1=f(x_1\text{x1}{x}_1)-\sum _{j=1}^2{\alpha }_j{y}_{j}K({x_1\text{x1}{x}_1}^T{x}_j\text{xj}{x}_j)-b$$
$${\upsilon }_2=f(x_2\text{x2}{x}_2)-\sum _{j=1}^2{\alpha }_j{y}_{j}K({x_2\text{x2}{x}_2}^T{x}_j\text{xj}{x}_j)-b$$
将$\xi$、${\upsilon }_1$，${\upsilon }_2$带入上式：
$$(K_{11}+K_{22}-2K_{12}){\alpha }_2^{new,unclipped}=(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}+y_2[y_2-y_1+f(x_1\text{x1}{x}_1)-f(x_2\text{x2}{x}_2)]$$
定义$E_i$表示预测值与真实值之差：
$$E_i=f(x_i\text{xi}{x}_i)-yi$$
记：
$$\eta =K_{11}+K_{22}-2K_{12}$$
得出：
$${\alpha }_2^{new,unclipped}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$$

5.5 对原始解修剪

上述求出的解未考虑到约束条件：
$$0\le {\alpha }_i\le C,i=1,2$$

$${\alpha }_1{y}_1+{\alpha }_2{y}_2=\xi$$
当$y_1\ne y_2$时，${\alpha }_1^{old}-{\alpha }_1^{old}=\xi$，所以有$L=max(0,-\xi )$，$H=min(C,C-\xi )$，如下图所示：

当$y_1=y_2$时，${\alpha }_1^{old}+{\alpha }_1^{old}=\xi$，所以有$L=max(0,C-\xi )$，$H=min(C,\xi )$，如下图所示：

经过上述约束的修剪，最优解就可以记为${\alpha }_2^{new}$:
$${\alpha }_2^{new}=\{\begin{array}{ll}H& {\alpha }_2^{new,unclipped}>H\\ {\alpha }_2^{new,unclipped}& H\le {\alpha }_2^{new,unclipped}\le L\\ L& {\alpha }_2^{new,unclipped}<L\end{array}$$

5.6 求解${\alpha }_1^{new}$

由于：
$${\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2=-\sum _{i=3}^l{\alpha }_i{y}_i={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2$$
得出：
$${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})$$

5.7 证明子问题是一个凸优化问题

二元函数为：
$$mi{n}_{{\alpha }_1,{\alpha }_2}=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\upsilon }_1{\alpha }_1+y_2{\upsilon }_2{\alpha }_2+Constant$$
$${\upsilon }_i=\sum _{j=3}^l{\alpha }_j{y}_{j}K({x_i\text{xi}{x}_i}^T{x}_j\text{xj}{x}_j),i=1,2$$
其Hession矩阵为：
$$\left[\begin{array}{cc}{y}_1{y}_1{K}_{11}& y_1{y}_2{K}_{12}\\ y_2{y}_1{K}_{21}& y_2{y}_2{K}_{22}\end{array}\right]$$
$$\Downarrow$$
$$\left[\begin{array}{cc}{y}_1{y}_1\varphi (x_1\text{x1}{x}_1{)}^T\varphi (x_1\text{x1}{x}_1)& y_1{y}_2\varphi (x_1\text{x1}{x}_1{)}^T\varphi (x_2\text{x2}{x}_2)\\ y_2{y}_1\varphi (x_2\text{x2}{x}_2{)}^T\varphi (x_1\text{x1}{x}_1)& y_2{y}_2\varphi (x_2\text{x2}{x}_2{)}^T\varphi (x_2\text{x2}{x}_2)\end{array}\right]$$
$$\Downarrow$$

$$\left[\begin{array}{c}{y}_1\varphi (x_1\text{x1}{x}_1{)}^T\\ y_2\varphi (x_2\text{x2}{x}_2{)}^T\end{array}\right]\left[\begin{array}{c}{y}_1\varphi (x_1\text{x1}{x}_1),y_2\varphi (x_2\text{x2}{x}_2)\end{array}\right]=A{A}^T\ge 0$$
其Hession矩阵为半正定矩阵，一定可以找到全局极小值点。

5.8 启发式选择变量

第一个变量的选择

首先遍历$0<{\alpha }_i<C$的样本集，选择违反KKT条件最严重（何为最严重，下面论述）的${\alpha }_i$作为第一个变量，接着依据相关规则选择第二个变量(见下面分析)，对这两个变量采用上述方法进行优化。接着遍历${\alpha }_i=0$或是${\alpha }_i=C$的样本集，选择违反KKT条件最严重的${\alpha }_i$。然后再次回到遍历$0<{\alpha }_i<C$样本集中寻找，即在两个样本集上来回切换。直到遍历整个样本集后，没有违反KKT条件${\alpha }_i$，然后退出。
如何判断样本点是否满足KKT条件将上面的第4部分。
违反KKT条件严重程度的量化方法有许多，下面介绍一种最为简单的：
$$l_i=|y_{i}f(x_i\text{xi}{x}_i-1)|$$
既计算样本点的预测值与标签值乘积与1的差值，具体操作如下：
当$0<{\alpha }_i<C$时候，如果满足KKT条件（$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)=1$）,$l_i=0$（此时违反KKT条件严重程度最低）。如果不满足KKT条件，按如上公式计算$l_i$值
当${\alpha }_i=0$时候，如果满足KKT条件（$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\ge 1$）,$l_i=0$。如果不满足KKT条件，按如上公式计算$l_i$值
当${\alpha }_i=C$时候，如果满足KKT条件（$y_i\left({w\text{w}w}^T{x}_i\text{xi}{x}_i+b\right)\ge 1$）,$l_i=0$。如果不满足KKT条件，按如上公式计算$l_i$值
将所有样本点的$l_i$值缓存起来，$l_i$值最大的既为违反KKT条件最严重的样本点。

第二个变量的选择

假设找到的第一个变量记为${\alpha }_i$，第二个变量${\alpha }_j$的选择希望能使${\alpha }_j$有较大的变化，由于${\alpha }_i$的计算是依赖于$|E_i-E_j|$的，当$|E_i-E_j|$较大时，${\alpha }_i$可以得到最大程度的更新（贪婪法），因此当$E_i$为正时，那么选择最小的$E_j$；如果$E_i$为负，选择最大$E_j$。通常将每个样本的$E$保存在一个列表中。

5.9 b的计算

每次完成对两个变量的优化后，要对$b$的值进行更新，因为$b$的值关系到$f(x)$的计算，即关系到下次优化时$E_i$的计算。对于任意支持向量（$x_s\text{xs}{x}_s,y_s$)都有，$y_{s}f(x_s\text{xs}{x}_s)=1$既：
$$y_s(\sum _{i\in S}{\alpha }_i{y}_i{x_i\text{xi}{x}_i}^T{x}_s\text{xs}{x}_s+b)=1$$
其中 S = { i ∣ 0 < α i < C , i = 1 , 2 , … , m } S=\{i|0<\alpha_i<C,i=1,2,\ldots,m\} S={i∣0<αi​<C,i=1,2,…,m}为所有支持向量的下标集。理论上，可选任意支持向量并通过求解上式获得$b$，但现实任务中常采用一种更鲁棒的做法，使用所有支持向量求解的平均值：
$$b=\frac{1}{|s|}\sum _{s\in S}(\frac{1}{y_s}-\sum _{i\in S}{\alpha }_i{y}_i{x_i\text{xi}{x}_i}^T{x}_s\text{xs}{x}_s)$$