手推SVM算法(含SMO证明）

函数间隔

$$\hat{\gamma }=y\left(w^{T}x+b\right)=yf(x)$$

几何间隔

$$\tilde{\gamma }=y\hat{\gamma }=\frac{\hat{\gamma }}{\Vert w\Vert }=\frac{y\left(w^{T}x+b\right)}{\Vert w\Vert }$$
函数间隔可以表示分类预测的正确性及确信度。但是选择分离超平面时，只有函数间隔还不够。因为只要成比例地改变w和$b$，例如将它们改为$2w$和$2b$，超平面并没有改变，但函数间隔却成为原来的$2$倍。这一事实启示我们，可以对分离超平面的法向量w加某些约束，如规范化，$||w||＝1$，使得间隔是确定的。这时函数间隔成为几何间隔（geometricmargin）。

SVM的目标：最大化几何间隔

SVM的模型是让所有点到超平面的距离大于一定的距离，也就是所有的分类点要在各自类别的支持向量两边。
$$\max \frac{y\left(w^{T}x+b\right)}{\Vert w\Vert }$$

$$s.t.y_i\left(w^T{x}_i+b\right)=\hat{\gamma }\ge \hat{\gamma }$$
一般我们都取函数间隔$\gamma$为1，这样我们的优化函数定义为：
$$\max \frac{1}{\Vert w\Vert }$$

$$s.t{y}_i\left(w^T{x}_i+b\right)\ge 1(i=1,2,\dots m)$$
由于$\frac{1}{\Vert w\Vert }$的最大化等同于$\frac{1}{2}{\Vert w\Vert }^2$的最小化。这样SVM的目标函数等价于：
$$\min \frac{1}{2}{\Vert w\Vert }^2$$

$$s.t{y}_i\left(w^T{x}_i+b\right)\ge 1(i=1,2,\dots m)$$

由于目标函数$\min \frac{1}{2}{\Vert w\Vert }^2$是凸函数(证明)，同时约束条件不等式是仿射的，根据凸优化理论，我们可以通过拉格朗日函数将我们的优化目标转化为无约束的目标函数。优化函数转化为：
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^m{\alpha }_i\left[y_i\left(w^T{x}_i+b\right)-1\right]$$

\qquad\qquad\qquad\qquad\qquad\qquad 其中 ${\alpha }_i$为拉格朗日乘子向量,且${\alpha }_i\ge 0$。
根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

为了得到对偶问题的解，需要先求$L(w,b,\alpha )$对$w,b$的极小，再求对$\alpha$的极大。

• 求$L(w,b,\alpha )$基于$w$和$b$的极小值，即${\min }_{w,b}L(w,b,\alpha )$,

1. 对$w$和$b$分别求偏导数得到：
   $$\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$

$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}_i=0$$

2. 带入优化函数$L(w,b,\alpha )$消去$w$
   $$\begin{array}{rl}\psi (\alpha )& =\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^m{\alpha }_i\left[y_i\left(w^T{x}_i+b\right)-1\right]\\ & =\frac{1}{2}{w}^{T}w-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\\ & =\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i+\sum _{i=1}^m{\alpha }_i\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$

• 求$L(w,b,\alpha )$基于$\alpha$的极大值。
  $$\underset{\alpha }{\underbrace{max}}-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\bullet x_j\right)+\sum _{i=1}^m{\alpha }_i$$

$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0$$

$${\alpha }_i\ge 0i=1,2,\dots m$$

1. 可以去掉负号，即为等价的极小化问题如下：
   $$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\bullet x_j\right)-\sum _{i=1}^m{\alpha }_i$$

$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0$$

$${\alpha }_i\ge 0i=1,2,\dots m$$

以上是线性分类SVM的硬间隔最大化，下面非线性分类SVM的软间隔最大化

软间隔

SVM对训练集里面的每个样本(xi,yi)引入了一个松弛变量${\xi }_i\ge 0$,使函数间隔加上松弛变量大于等于1，也就是说软间隔的约束条件：
$$y_i\left(w^T{x}_i+b\right)\ge 1-{\xi }_i$$
SVM的目标函数变成：
$$\min \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i$$

$$s.t.y_i\left(w^T{x}_i+b\right)\ge 1-{\xi }_i(i=1,2,\dots m)$$

$${\xi }_i\ge 0(i=1,2,\dots m)$$
求解方法

• 将软间隔最大化的约束问题用拉格朗日函数转化为无约束问题
  $$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i-\sum _{i=1}^m{\alpha }_i\left[y_i\left(w^T{x}_i+b\right)-1+{\xi }_i\right]-\sum _{i=1}^m{\mu }_i{\xi }_i$$

\qquad\qquad\qquad\qquad\qquad\qquad 其中 ${\alpha }_i，{\mu }_i$为拉格朗日乘子向量,且${\alpha }_i\ge 0，{\mu }_i\ge 0$。
优化目标也满足KKT条件，通过拉格朗日对偶将我们的优化问题转化为等价的对偶问题来求解

• 求$L(w,b,\xi ,\alpha ,\mu )$基于$w$，$\xi$，$b$的极小值

1. 对$w$，$\xi$和$b$分别求偏导数得到：
   $$\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$

$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}_i=0$$

$$\frac{\partial L}{\partial \xi }=0\Rightarrow C-{\alpha }_i-{\mu }_i=0$$

2. 带入优化函数$L(w,b,\xi ,\alpha ,\mu )$消去$w，b$
   $$\begin{array}{rl}L(w,b,\xi ,\alpha ,\mu )& =\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i-\sum _{i=1}^m{\alpha }_i\left[y_i\left(w^T{x}_i+b\right)-1+{\xi }_i\right]-\sum _{i=1}^m{\mu }_i{\xi }_i\\ & =\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^m{\alpha }_i\left[y_i\left(w^T{x}_i+b\right)-1+{\xi }_i\right]+\sum _{i=1}^m{\alpha }_i{\xi }_i\\ & =\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^m{\alpha }_i\left[y_i\left(w^T{x}_i+b\right)-1\right]\\ & =\frac{1}{2}{w}^{T}w-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\\ & =\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}{\left(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\right)}^T\left(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\right)-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{y}_i{x}_i^T{\alpha }_j{y}_j{x}_j+\sum _{i=1}^m{\alpha }_i\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$

• 求$L(w,b,\xi ,\alpha ,\mu )$基于$\alpha ，\mu$的极大值，可以去掉负号，即为等价的极小化问题。

$$\underset{\alpha }{\underbrace{\min }}\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i$$

$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0$$

$$\begin{array}{ccc}& C-{\alpha }_i-{\mu }_i=0& \\ & {\alpha }_i\ge 0(i=1,2,\dots ,m)& \\ & {\mu }_i\ge 0(i=1,2,\dots ,m)& \end{array}\}\Rightarrow 0\le {\alpha }_i\le C$$

核函数

而对于非线性的情况，SVM 的处理方法是选择一个核函数$K(x,z)$ ，通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题。

SVM的目标函数变成：
$$\underset{\alpha }{\underbrace{\min }}\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i,x_j\right)-\sum _{i=1}^m{\alpha }_i$$

$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0$$

$$0\le {\alpha }_i\le C$$

$$K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=⟨\varphi \left({\mathbf{x}}_i\right),\varphi \left({\mathbf{x}}_j\right)⟩=\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$$

\qquad\qquad\qquad\qquad\qquad\qquad $\varphi (x_i)$为$x$在低维特征空间到高维特征空间的映射

SMO算法

SMO算法：序列最小最优化（sequential minimal optimization，SMO）算法。
SMO算法要解的问题是一个凸二次规划的对偶问题，变量是拉格朗日乘子，一个变量${\alpha }_i$对应于一个样本点$(x_i,y_i)$；变量的总数等于训练样本容量m。
$$\underset{\alpha }{\underbrace{\min }}\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i,x_j\right)-\sum _{i=1}^m{\alpha }_i$$

$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0$$

$$0\le {\alpha }_i\le C$$
SMO算法是一种启发式算法,：如果所有变量的解都满足此最优化问题的KKT条件（Karush-Kuhn-Tucker conditions），那么这个最优化问题的解就得到了。因为KKT条件是该最优化问题的充分必要条件。否则，选择两个变量，固定其他变量，针对这两个变量构建一个二次规划问题。这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解，因为这会使得原始二次规划问题的目标函数值变得更小。重要的是，这时子问题可以通过解析方法求解，这样就可以大大提高整个算法的计算速度。子问题有两个变量，一个是违反KKT条件最严重的那一个，另一个由约束条件自动确定。如此，SMO算法将原问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。

• 选择变量${\alpha }_1,{\alpha }_2$，固定${\alpha }_3,{\alpha }_4,\dots ,{\alpha }_m$，目标函数变为：
  $$\underset{{\alpha }_1,{\alpha }_1}{\min }\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-\left({\alpha }_1+{\alpha }_2\right)+y_1{\alpha }_1\sum _{i=3}^m{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^m{y}_i{\alpha }_i{K}_{i2}$$

$$s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^m{y}_i{\alpha }_i=\zeta$$

$$0\le {\alpha }_i\le Ci=1,2$$

• 分析约束条件，所有的${\alpha }_1,{\alpha }_2$都要满足约束条件，且$y_1,y_2$均只能取值1或者-1，然后在约束条件下求最小。
  $${\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^m{y}_i{\alpha }_i=\zeta$$

$$0\le {\alpha }_i\le Ci=1,2$$
有四种情况，画出图形分析（横轴为${\alpha }_1$,纵轴为${\alpha }_2$）：
$$s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{y}_i{\alpha }_i=\zeta$$

$$0\le {\alpha }_1\le C，0\le {\alpha }_2\le C,$$

• 情况一：$y_1=1,y_2=1，{\alpha }_1+{\alpha }_2=\zeta$

① $0<\zeta <C：0\le {\alpha }_1\le \zeta ，0\le {\alpha }_2\le \zeta$.
② $c<\zeta <2C：\zeta -C\le {\alpha }_1\le C,\zeta -C\le {\alpha }_2\le C$
将${\alpha }_2^{old}+{\alpha }_1^{old}=\zeta$代入①，②得：
$$\begin{array}{ccc}& 0\le {\alpha }_2\le {\alpha }_1^{\text{ old }}+{\alpha }_2^{\text{ old }}& \\ & {\alpha }_1^{\text{ old }}+{\alpha }_2^{\text{ old }}-C\le {\alpha }_2\le C& \end{array}\}$$

$$\Rightarrow \max \left(0,{\alpha }_2^{old}+{\alpha }_1^{old}-C\right)\le {\alpha }_2\le \min \left(C,{\alpha }_2^{old}+{\alpha }_1^{old}\right)$$

• 情况二：$y_1=-1,y_2=-1，{\alpha }_1+{\alpha }_2=-\zeta$

① $0<-\zeta <C：0\le {\alpha }_1\le -\zeta ，0\le {\alpha }_2\le -\zeta$.
② $c<-\zeta <2C：-\zeta -C\le {\alpha }_1\le C,-\zeta -C\le {\alpha }_2\le C$
将${\alpha }_2^{old}+{\alpha }_1^{old}=-\zeta$代入①，②得：
$$\begin{array}{ccc}& 0\le {\alpha }_2\le {\alpha }_1^{\text{ old }}+{\alpha }_2^{\text{ old }}& \\ & {\alpha }_1^{\text{ old }}+{\alpha }_2^{\text{ old }}-C\le {\alpha }_2\le C& \end{array}\}$$
$$\Rightarrow \max \left(0,{\alpha }_2^{old}+{\alpha }_1^{old}-C\right)\le {\alpha }_2\le \min \left(C,{\alpha }_2^{old}+{\alpha }_1^{old}\right)$$

• 情况三：$y_1=1,y_2=-1，{\alpha }_1-{\alpha }_2=\zeta$

① $0<-\zeta <C：0\le {\alpha }_1\le C+\zeta ，-\zeta \le {\alpha }_2\le C$.
② $0<\zeta <C：\zeta \le {\alpha }_1\le C,0\le {\alpha }_2\le C-\zeta$
将${\alpha }_2^{old}+{\alpha }_1^{old}=-\zeta$代入①，②得：
$$\begin{array}{ccc}& 0\le {\alpha }_2\le {\alpha }_1^{\text{ old }}+{\alpha }_2^{\text{ old }}& \\ & {\alpha }_1^{\text{ old }}+{\alpha }_2^{\text{ old }}-C\le {\alpha }_2\le C& \end{array}\}$$
$$\Rightarrow \max \left(0,{\alpha }_2^{old}-{\alpha }_1^{old}\right)\le {\alpha }_2\le \min \left(C,{\alpha }_2^{old}-{\alpha }_1^{old}+C\right)$$

• 情况四：$y_1=-1,y_2=1，{\alpha }_1+{\alpha }_2=-\zeta$

① $0<\zeta <C：0\le {\alpha }_1\le C-\zeta ，\zeta \le {\alpha }_2\le C$.
② $0<-\zeta <C：-\zeta \le {\alpha }_1\le C,0\le {\alpha }_2\le C+\zeta$
将${\alpha }_2^{old}-{\alpha }_1^{old}=-\zeta$代入①，②得：
$$\begin{array}{ccc}& 0\le {\alpha }_2\le {\alpha }_1^{\text{ old }}+{\alpha }_2^{\text{ old }}& \\ & {\alpha }_1^{\text{ old }}+{\alpha }_2^{\text{ old }}-C\le {\alpha }_2\le C& \end{array}\}$$
$$\Rightarrow \max \left(0,{\alpha }_2^{old}-{\alpha }_1^{old}\right)\le {\alpha }_2\le \min \left(C,{\alpha }_2^{old}-{\alpha }_1^{old}+C\right)$$

假设最初的可行解为${\alpha }_2^{old},{\alpha }_1^{old}$，最优解为${\alpha }_2^{new},{\alpha }_1^{new}$,并且假设在沿着约束方向未经剪辑时${\alpha }_2$的最优解为${\alpha }_2^{new,unc}$。由于${\alpha }_2^{\text{ new }}$满足$0⩽{\alpha }_i⩽C$，所以，最优值${\alpha }_2^{new}$的取值范围必须满足条件：
$$L⩽{\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w}}⩽H$$
若$y_1=y_2$:
$$L=\max \left(0,{\alpha }_2^{\text{ old }}+{\alpha }_1^{\text{ old }}-C\right),H=\min \left(C,{\alpha }_2^{\text{ old }}+{\alpha }_1^{\text{ old }}\right)$$
若$y_1!=y_2$:
$$L=\max \left(0,{\alpha }_2^{\text{ old }}-{\alpha }_1^{\text{ old }}\right),H=\min \left(C,C+{\alpha }_2^{\text{ old }}-{\alpha }_1^{\text{ old }}\right)$$

最终的${\alpha }_2^{new}$为：
$${\alpha }_2^{new}=\{\begin{array}{ll}H& {\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc}& L\le {\alpha }_2^{new,unc}\le H\\ L& {\alpha }_2^{new,unc}<L\end{array}$$
无约束时${\alpha }_2^{new,unc}的解：$
$${\alpha }_2^{\text{ new, unc }}={\alpha }_2^{\text{ old }}+\frac{y_2\left(E_1-E_2\right)}{\eta }$$
其中：
$$\eta =K_{11}+K_{22}-2K_{12}={\Vert \Phi \left(x_1\right)-\Phi \left(x_2\right)\Vert }^2$$
$\Phi (\mathrm{x})$是输入空间到特征空间的映射。
$E_i$为函数$g(x)$对输入$x_i$的预测值与真实输出$y_i$之差。
$$g(x)=\sum _{i=1}^N{\alpha }_i{y}_{i}K\left(x_i,x\right)+b$$

$$E_i=g\left(x_i\right)-y_i=\left(\sum _{j=1}^N{\alpha }_j{y}_{j}K\left(x_j,x_i\right)+b\right)-y_{i}i=1,2$$
证明${\alpha }_2^{new,unc}$的解:
　引进记号

$$v_i=\sum _{j=3}^N{\alpha }_j{y}_{j}K\left(x_i,x_j\right)=g\left(x_i\right)-\sum _{j=1}^2{\alpha }_j{y}_{j}K\left(x_i,x_j\right)-bi=1,2$$
目标函数$W({\alpha }_1,{\alpha }_2)$可写成:
$$\begin{array}{rl}W\left({\alpha }_1,{\alpha }_2\right)=& \frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2\\ & -\left({\alpha }_1+{\alpha }_2\right)+y_1{v}_1{\alpha }_1+y_2{v}_2{\alpha }_2\end{array}$$
因为:
$${\alpha }_1{\mathrm{y}}_1=\zeta -{\alpha }_2{\mathrm{y}}_2$$

$$y_i^2=1$$
所以：
$${\alpha }_1=\left(\zeta -y_2{\alpha }_2\right)y_1$$

将${\alpha }_1$代入$W({\alpha }_1,{\alpha }_2)$,得到只含有${\alpha }_2$的函数的目标函数
$$\begin{array}{rl}W\left({\alpha }_2\right)=& \frac{1}{2}{K}_{11}{\left(\zeta -{\alpha }_2{y}_2\right)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}\left(\zeta -{\alpha }_2{y}_2\right){\alpha }_2\\ & -\left(\zeta -{\alpha }_2{y}_2\right)y_1-{\alpha }_2+v_1\left(\zeta -{\alpha }_2{y}_2\right)+y_2{v}_2{\alpha }_2\end{array}$$
对${\alpha }_2$求导数:
$$\begin{array}{rl}\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2=& y_2\left(y_2-y_1+\zeta K_{11}-\zeta K_{12}+v_1-v_2\right)\\ =& y_2[y_2-y_1+\zeta K_{11}-\zeta K_{12}+\left(g\left(x_1\right)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{1j}-b\right)\\ & -\left(g\left(x_2\right)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{2j}-b\right)]\end{array}$$
将$\zeta ={\alpha }_1^{\text{ old }}{\mathrm{y}}_1+{\alpha }_2^{\text{ old }}{\mathrm{y}}_2$代入，得到:
$$\begin{array}{rl}\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2^{\text{ new, unc }}& =y_2\left(\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2^{\text{ old }}{y}_2+y_2-y_2-y\left(x_1\right)-g\left(x_2\right)\right)\\ & =\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2^{\text{ old }}+y_2\left(E_1-E_2\right)\end{array}$$
将$\eta ={\mathrm{K}}_{11}+{\mathrm{K}}_{22}-2{\mathrm{K}}_{12}$代入，得到：
$${\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w},\mathrm{u}\mathrm{n}\mathrm{c}}={\alpha }_2^{\mathrm{o}\mathrm{l}\mathrm{d}}+\frac{y_2\left(E_1-E_2\right)}{\eta }$$
要使其满足不等式约束必须将其限制在区间$[\mathrm{L},\mathrm{H}]$，从而得到${\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w}}$的表达式，由于${\alpha }_1{y}_1+{\alpha }_2{y}_2=-{\sum }_{i=3}^N{y}_i{\alpha }_i=\zeta$，从而得到${\alpha }_1^{\text{ new }}={\alpha }_1^{\text{ old }}+y_1{y}_2\left({\alpha }_2^{\text{ old }}-{\alpha }_2^{\text{ new }}\right)$。

两个变量的选择

SMO算法在每个子问题中选择两个变量优化，其中至少一个变量是违反KKT条件的。

• 第1个变量的选择(外层循环)：

  • 违背KKT条件最严重的样本点，即：检验训练样本点$(x_i，y_i)$是否满足KKT条件。
    $$\begin{array}{c}{\alpha }_i=0\iff y_{i}g\left(x_i\right)⩾1\\ 0<{\alpha }_i<C\iff y_{i}g\left(x_i\right)=1\\ {\alpha }_i=C\iff y_{i}g\left(x_i\right)⩽1\end{array}$$

  其中：$$g\left(x_i\right)=\sum _{j=1}^N{\alpha }_j{y}_{j}K\left(x_i,x_j\right)+b$$
  在检验过程中，外层循环首先遍历所有满足条件$0<{\alpha }_i<C$的样本点，即在间隔边界上的支持向量点，检验它们是否满足KKT条件。如果这些样本点都满足KKT条件，那么遍历整个训练集，检验它们是否满足KKT条件。

• 第1个变量的选择(内层循环)

  • 希望能使第二个变量有足够大的变化，即最大化$\left|{\mathrm{E}}_1-{\mathrm{E}}_2\right|$。此外，为了节省计算时间，将所有$E_i$值保存在一个列表中。
  • 如果内层循环通过以上方法选择的${\alpha }_2$不能使目标函数有足够的下降，那么采用以下启发式规则继续选择${\alpha }_2$。遍历在间隔边界上的支持向量点，依次将其对应的变量作为${\alpha }_2$试用，直到目标函数有足够的下降。若找不到合适的${\alpha }_2$，那么遍历训练数据集；若仍找不到合适的${\alpha }_2$，则放弃第1个${\alpha }_1$，再通过外层循环寻求另外的${\alpha }_1$。

计算阈值b

• 当$0<{\alpha }_1^{new}<C$时：
  由KKT条件：
  $$\sum _{i=1}^N{\alpha }_i{y}_i{K}_{i1}+b=y_1$$
  得：$$b_1^{\mathrm{n}\mathrm{e}\mathrm{w}}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{\mathrm{n}\mathrm{e}\mathrm{w}}{y}_1{K}_{11}-{\alpha }_2^{\mathrm{n}\mathrm{a}\mathrm{w}}{y}_2{K}_{21}$$
  又：$$E_1=\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}+{\alpha }_1^{\text{ old }}{y}_1{K}_{11}+{\alpha }_2^{\text{ old }}{y}_2{K}_{21}+b^{\text{ old }}-y_1$$
  所以：$$y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}=-E_1+{\alpha }_1^{\text{ old }}{y}_1{K}_{11}+{\alpha }_2^{\text{ old }}{y}_2{K}_{21}+b^{\text{ old }}$$
  因此：
  $$b_1^{\mathrm{n}\mathrm{e}\mathrm{w}}=-E_1-y_1{K}_{11}\left({\alpha }_1^{\mathrm{n}\mathrm{e}\mathrm{w}}-{\alpha }_1^{\mathrm{o}\mathrm{l}\mathrm{d}}\right)-y_2{K}_{21}\left({\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w}}-{\alpha }_2^{\mathrm{o}\mathrm{l}\mathrm{d}}\right)+b^{\mathrm{o}\mathrm{l}\mathrm{d}}$$

• 当$0<{\alpha }_2^{new}<C$时：
  $$b_2^{new}=-E_2-y_1{K}_{12}\left({\alpha }_1^{new}-{\alpha }_1^{old}\right)-y_2{K}_{22}\left({\alpha }_2^{new}-{\alpha }_2^{old}\right)+b^{old}$$
  最终的$b_2^{new}$为：
  $$b^{new}=\frac{b_1^{new}+b_2^{new}}{2}$$

• 更新$E_i$
  $$E_i=\sum _S{y}_j{\alpha }_{j}K\left(x_i,x_j\right)+b^{new}-y_i$$
  其中，S是所有支持向量$x_j$的集合。

SMO算法总结

输入： 训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } \mathrm{T}=\left\{\left(\mathrm{x}_{1}, \mathrm{y}_{1}\right),\left(\mathrm{x}_{2}, \mathrm{y}_{2}\right), \ldots,\left(\mathrm{x}_{\mathrm{N}}, \mathrm{y}_{\mathrm{N}}\right)\right\} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}，其中x为n维特征向量，y为二元输出，值为1，或者-1.精度e
输出：近似解α

1. 取初值${\alpha }^0=0,k=0$
2. 选取优化变量${\alpha }_1^{(k)},{\alpha }_2^{(k)}$
3. 求新的${\alpha }_2^{k+1,unc}$
4. 求出${\alpha }_2^{k+1}$
5. 求出${\alpha }_1^{k+1}$
6. 计算$b^{k+1}$和$E_i$
7. 在精度e范围内检查是否满足如下的终止条件
8. 如果满足则结束，返回${\alpha }^{k+1}$,否则转到步骤2

参考资料：

周志华《机器学习》
李航《统计学习方法》
刘建平博客