支持向量机器—SMO算法

引入SMO的背景

前面的文章提到，SVM的学习问题可以转成下面的凸二次规划的对偶问题：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C \end{gathered}$$
上面的式子是关于${\alpha }_i,i=1,2,...N$的函数，由于一个${\alpha }_i$对应一个样本，所以变量的个数等于样本的个数。在样本众多的情况下，直接对所有的变量1求全局最优解，计算量太大。

为解决这个问，可以使用序列最小最优化(SMO)算法，基本思路为：如果所有变量的解都满足KKT条件，那么就得到了最优化的解(因为KKT条件是该问题最优化问题的充要条件)。如果不满足KKT条件，那么选择两个${\alpha }_i,{\alpha }_j$作为变量，其他的作为常量，然后对这两个变量进行优化，那么优化的结果应该更接近KKT条件。整个SMO算法包括两个部分：

1. 求两个变量的解析解
2. 选择变量的启发式方法

两个变量二次规划求解方法

先假设我们已经按照某种方法选择了两个变量${\alpha }_1,{\alpha }_2$ ，其他变量${\alpha }_i(i=3,4\dots ,N)$ 可以视为常量，在优化函数中可以舍去。于是优化函数可以写成：
$$\begin{array}{rl}\underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)=& \frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2\\ & -({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{il}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2}\\ s.t.& {\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{y}_i{\alpha }_i=\varsigma \\ & 0⩽{\alpha }_i⩽C,i=1,2\end{array}$$
式子中$K_{ij}=K(x_i,x_j),\varsigma$ 是常数。约束条件为一个不等式约束和一个等式约束。

根据约束条件：${\alpha }_1{y}_1+{\alpha }_2{y}_2=\varsigma =k，0⩽{\alpha }_i⩽C$，其中 y i ∈ { − 1 , 1 } y_i \in \{-1, 1\} yi​∈{ −1,1}，可以知道$({\alpha }_1,{\alpha }_2)$ 在平行于盒子$[0,C]\times [0,C]$ 的对角线的线段上。根据不同的$y_1,y_2$的取值，函数图像如下图所示：

假设原始问题的初始可行解为${\alpha }_1^{old},{\alpha }_2^{old}$，本次迭代的最优解为${\alpha }_1^{new},{\alpha }_2^{new}$，假设沿着约束方向${\alpha }_2$未经剪辑(未考虑不等式约束)的解是${\alpha }_2^{new,unc}$ 。

由于约束边界的存在，实际上有：
$$L\le {\alpha }_2^{new}\le H$$
其中，L为线段下端点，H为上端点，具体的：

当$y_1\ne y_2$ 时，如上图(a)，则：
$$L=max(0,{\alpha }_2^{old}-{\alpha }_1^{old})H=min(C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$$
当$y_1=y_2$ 时，如上图(b)，则：
L = m a x ( 0 , α 2 o l d + α 1 o l d − C )        H = m i n ( C , α 2 o l d + α 1 o l d ) L = max(0, \alpha_2^{old}+\alpha_1^{old}-C) \;\;\; H = min(C, \alpha_2^{old}+\alpha_1^{old}) L=max(0,α2old​+α