支持向量机器—SMO算法

引入SMO的背景

前面的文章提到，SVM的学习问题可以转成下面的凸二次规划的对偶问题：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$
上面的式子是关于${\alpha }_i,i=1,2,...N$的函数，由于一个${\alpha }_i$对应一个样本，所以变量的个数等于样本的个数。在样本众多的情况下，直接对所有的变量1求全局最优解，计算量太大。

为解决这个问，可以使用序列最小最优化(SMO)算法，基本思路为：如果所有变量的解都满足KKT条件，那么就得到了最优化的解(因为KKT条件是该问题最优化问题的充要条件)。如果不满足KKT条件，那么选择两个${\alpha }_i,{\alpha }_j$作为变量，其他的作为常量，然后对这两个变量进行优化，那么优化的结果应该更接近KKT条件。整个SMO算法包括两个部分：

1. 求两个变量的解析解
2. 选择变量的启发式方法

两个变量二次规划求解方法

先假设我们已经按照某种方法选择了两个变量${\alpha }_1,{\alpha }_2$ ，其他变量${\alpha }_i(i=3,4\dots ,N)$ 可以视为常量，在优化函数中可以舍去。于是优化函数可以写成：
$$\begin{array}{rl}\underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)=& \frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2\\ & -({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{il}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2}\\ s.t.& {\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{y}_i{\alpha }_i=\varsigma \\ & 0⩽{\alpha }_i⩽C,i=1,2\end{array}$$
式子中$K_{ij}=K(x_i,x_j),\varsigma$ 是常数。约束条件为一个不等式约束和一个等式约束。

根据约束条件：${\alpha }_1{y}_1+{\alpha }_2{y}_2=\varsigma =k，0⩽{\alpha }_i⩽C$，其中 y i ∈ { − 1 , 1 } y_i \in \{-1, 1\} yi​∈{−1,1}，可以知道$({\alpha }_1,{\alpha }_2)$ 在平行于盒子$[0,C]\times [0,C]$ 的对角线的线段上。根据不同的$y_1,y_2$的取值，函数图像如下图所示：

假设原始问题的初始可行解为${\alpha }_1^{old},{\alpha }_2^{old}$，本次迭代的最优解为${\alpha }_1^{new},{\alpha }_2^{new}$，假设沿着约束方向${\alpha }_2$未经剪辑(未考虑不等式约束)的解是${\alpha }_2^{new,unc}$ 。

由于约束边界的存在，实际上有：
$$L\le {\alpha }_2^{new}\le H$$
其中，L为线段下端点，H为上端点，具体的：

当$y_1\ne y_2$ 时，如上图(a)，则：
$$L=max(0,{\alpha }_2^{old}-{\alpha }_1^{old})H=min(C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$$
当$y_1=y_2$ 时，如上图(b)，则：
$$L=max(0,{\alpha }_2^{old}+{\alpha }_1^{old}-C)H=min(C,{\alpha }_2^{old}+{\alpha }_1^{old})$$
所以，最终的${\alpha }_2^{new}$ 应该要满足以下情况：
$${\alpha }_2^{new}=\{\begin{array}{ll}H& {\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc}& L\le {\alpha }_2^{new,unc}\le H\\ L& {\alpha }_2^{new,unc}<L\end{array}$$
那么应该如何求${\alpha }_2^{new,unc}$ ? 通过对目标函数求导可以解决。

为了精简推导过程冗长的公式，首先用一些简单的变量表达复杂的式子：
$$\begin{gathered} g(x)=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_{j}K(x,x_j)+b^{\ast } \\ {E}_i=g(x_i)-y_i=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_{j}K(x_i,x_j)+b-y_i \\ {v}_i=\sum _{j=3}^m{y}_j{\alpha }_{j}K(x_i,x_j)=g(x_i)-\sum _{j=1}^2{y}_j{\alpha }_{j}K(x_i,x_j)-b \end{gathered}$$
将$v_1,v_2$ 带入，于是目标函数简写为：
$$W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1{v}_1+y_2{\alpha }_2{v}_2$$
由于${\alpha }_1{y}_1+{\alpha }_2{y}_2=\varsigma ,y_i^2=1$得：
$${\alpha }_1=y_1(\varsigma -{\alpha }_2{y}_2)$$
带入$W({\alpha }_1,{\alpha }_2)$ 消去${\alpha }_1$ ，得：
$$W({\alpha }_2)=\frac{1}{2}{K}_{11}(\varsigma -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}(\varsigma -{\alpha }_2{y}_2){\alpha }_2-(\varsigma -{\alpha }_2{y}_2)y_1-{\alpha }_2+(\varsigma -{\alpha }_2{y}_2)v_1+y_2{\alpha }_2{v}_2$$
这样就是单变量的优化问题，求导后令等于零即可求得${\alpha }_2^{new,unc}$ ：
$$\frac{\partial W}{\partial {\alpha }_2}=K_{11}{\alpha }_2+K_{22}{\alpha }_2-2K_{12}{\alpha }_2-K_{11}\varsigma y_2+K_{12}\varsigma y_2+y_1{y}_2-1-v_1{y}_2+y_2{v}_2=0$$
整理后得到：
$$\begin{gathered} (K_{11}+K_{22}-2K_{12}){\alpha }_2=y_2(y_2-y_1+\varsigma K_{11}-\varsigma K_{12}+v_1-v_2) \\ =y_2\left[y_2-y_1+\varsigma K_{11}-\varsigma K_{12}+\left(g(x_1)-\sum _{j=1}^2{y}_j{\alpha }_{j}K(x_1,x_j)-b\right) \\ -\left(g(x_2)-\sum _{j=1}^2{y}_j{\alpha }_{j}K(x_2,x_j)-b\right)\right] \end{gathered}$$

上面的式子的累加符号中还存在${\alpha }_1$，故将${\alpha }_1=y_1(\varsigma -{\alpha }_2{y}_2)$ 带入上式：
$$\begin{array}{rl}(K_{11}+K_{22}-2K_{12}){\alpha }_2^{new,unc}& =y_2[y_2-y_1+g(x_1)-g(x_2)+({\alpha }_1{y}_1+{\alpha }_2^{old}{y}_2)K_{11}-({\alpha }_1{y}_1+{\alpha }_2^{old}{y}_2)K_{12}\\ & -(y_1{\alpha }_1{K}_{11}+y_2{\alpha }_2^{old}{K}_{12})+(y_1{\alpha }_1{K}_{21}+y_2{\alpha }_2^{old}{K}_{22})]\\ & \\ & =y_2[(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}{y}_2+y_2-y_1+g(x_1)-g(x_2)]\\ & \\ & =(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}+y_2(E_1-E_2)\end{array}$$
得到：
$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{K_{11}+K_{22}-2K_{12})}$$
最后再考虑约束条件，于是得到：
$${\alpha }_2^{new}=\{\begin{array}{ll}H& {\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc}& L\le {\alpha }_2^{new,unc}\le H\\ L& {\alpha }_2^{new,unc}<L\end{array}$$
至于${\alpha }_1^{new}$的更新，由${\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2=\varsigma$，可得：
$${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})$$
在这一节，我们直接假设选择了${\alpha }_1,{\alpha }_2$，实际情况中，要如何选择？

选择两个变量的方法

SMO每次选择的两个变量，其中至少一个违反KKT条件。

第一个变量选择

SMO算法首先遍历数据(称之为外层循环)，找到训练集中违反KKT条件最严重的样本点，将其作为第一个变量。

为了简化公式的表达，令：
$$g(x)=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_{j}K(x,x_j)+b^{\ast }$$
外层循环的过程中，要检验是否满足KKT条件。具体而言，在一次外层循环中，首先遍历满足$0<{\alpha }_i^{\ast }<C\Rightarrow y_{i}g(x_i)=1$ 的点(在间隔边界上的支持向量点)，检验是否满足KKT条件。如果都满足，那么遍历整个训练集合，判断是否满足KKT条件。

第二个变量选择

在确定第一个变量${\alpha }_1$的条件下，仍然需要循环(内层循环)查找寻找第二个变量${\alpha }_2$。由公式可知：
$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{K_{11}+K_{22}-2K_{12})}$$
可知：${\alpha }_2^{new}$ 依赖于$|E_1-E_2|$ 。为了加快计算速度，一种简单的做法是选择${\alpha }_2$使得$|E_1-E_2|$最大。只需要在$E_1$为正时，循环样本选择最小的$E_i$作为$E_2$，在$E_1$为负时，循环样本选择最大的$E_i$作为$E_2$， 可以将所有的$E_i$保存下来加快迭代。

如果内层循环找到的点不能让目标函数有足够的下降， 可以采用遍历支持向量点来做${\alpha }_2$，直到目标函数有足够的下降， 如果所有的支持向量做${\alpha }_2$都不能让目标函数有足够的下降，可以跳出循环，重新选择${\alpha }_1$。

计算阈值b和差值$E_i$

每次完成两个变量的优化后，都要重新计算阈值$b$。当$0<{\alpha }_1^{new}<C$ 时，由KKT条件：$0<{\alpha }_i^{\ast }<C\Rightarrow y_{i}g(x_i)=1$ 可知：
$$y_1=\sum _{i=1}^N{\alpha }_i{y}_i{K}_{i1}+b_1$$
所以：
$$b_1^{new}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{21}$$
由$E_1$ 的定义式得：
$$E_1=g(x_1)-y_1=\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b^{old}-y_1$$
所以：
$$y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}={\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b^{old}-E_1$$
带入$b_1^{new}$ 的式子得：
$$b_1^{new}=-E_1-y_1{K}_{11}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{21}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$
当$0<{\alpha }_2^{new}<C$ 时，同理可得：
$$b_2^{new}=-E_2-y_1{K}_{12}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{22}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$
所以：
$$b^{new}=\frac{b_1^{new}+b_2^{new}}{2}$$
更新$E_i$:
$$E_i=\sum _S{y}_j{\alpha }_{j}K(x_i,x_j)+b^{new}-y_i$$
其中，$S$ 是所有支持向量得集合。

SMO算法

输入：m个样本$(x_1,y_1),(x_2,y_2),...,(x_m,y_m),$ 其中，$x_i \in \mathcal X = \mathbf R^n $ ，$y_i\in \mathcal{Y}=-1,+1，i=1,2\dots ,N$，精度$\epsilon$ ;

输出：近似解$\hat{\alpha }$

（1）取初值${\alpha }^{(0)}=0$ ，令$k=0$ 。

（2） 选取优化变量${\alpha }_1^k,{\alpha }_2^k$，解析求解两个变量的最优化问题，求解得最优解${\alpha }_1^{(k+1)},{\alpha }_2^{(k+1)}$ ，更新$\alpha$ 为${\alpha }^{k+1}$ 。

（3）若在精度$\epsilon$ 范围内满足停机条件：
$$\begin{gathered} \sum _{i=1}^m{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2...m \\ {\alpha }_i^{k+1}=0\Rightarrow y_{i}g(x_i)\ge 1 \\ 0<{\alpha }_i^{k+1}<C\Rightarrow y_{i}g(x_i)=1 \\ {\alpha }_i^{k+1}=C\Rightarrow y_{i}g(x_i)\le 1 \end{gathered}$$
其中：
$$g(x)=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_{j}K(x,x_j)+b^{\ast }$$
则转(4)，否则令$k=k+1$ ，转(2)；

（4）取 $\hat{\alpha }={\alpha }^{(k+1)}$

参考文章：

《统计学习方法 第二版》

支持向量机原理(四)SMO算法原理