【统计学习方法】支持向量机之序列最小最优化(SMO)算法

一、序列最小最优化算法

• 序列最小最优化(SMO)算法是用来解SVM的对偶问题(凸二次规划)的算法：$$\underset{\alpha }{\min }(\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i)$$$$\begin{gathered} s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,\dots ,N \end{gathered}$$

• 这里变量是${\alpha }_i$,一个变量${\alpha }_i$对应于一个样本点$(x_i,y_i)$；变量的总数等于训练样本容量$N$.

• KKT条件是该最优化问题的充分必要条件，即最优解${\alpha }^{\ast }$一定满足KKT条件，满足KKT条件的$\alpha$一定是最优解。KKT条件如下：$${\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$$${\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$$${\nabla }_{(}{\xi }_i)L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0$$$$y_i(w\ast x_i+b)-1+{\xi }_i\ge 0$$$${\alpha }_i\ge 0$$$${\alpha }_i(y_i(w\ast x_i+b)-1+{\xi }_i)=0$$$${\xi }_i\ge 0$$$${\mu }_i\ge 0$$$${\mu }_i{\xi }_i=0i=1,2,\dots ,N$$

• SMO算法是一种启发式算法，其基本思路是:

  • 如果所有变量的解都满足KKT条件,那么这个解就是最优解。
  • 否则，选择两个变量，固定其他变量，针对这两个变量构建一个二次规划问题(称为原问题的子问题).这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解，即使得原始二次规划问题的目标函数值变得更小.

• 重要的是，子问题可以通过解析方法求解，这样就可以大大提高整个算法的计算速度.

• 子问题两个变量的选取方式：一个是违反KKT条件最严重的那一个，另一个是根据第一个变量选择跟新最大的那个，以假设模型收敛.

• 因此SMO算法将原问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的.

• 注意，子问题的两个变量中只有一个是自由变量。假设${\alpha }_1,{\alpha }_2$为两个变量，${\alpha }_3,{\alpha }_4,\dots ,{\alpha }_N$固定，那么由等式约束:$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$可知:$${\alpha }_1=-y_1\sum _{i=2}^N{\alpha }_i{y}_i$$所以子问题是一个一元函数优化问题.

• 整个SMO算法包括两个部分：求解子问题和选择子问题中的两个变量

二、子问题的求解

• 不失一般性，假设选择的两个变量是${\alpha }_1,{\alpha }_2$，其他变量${\alpha }_i(i=3,4,\dots ,N)$是固定的.于是SMO的最优化问题的子问题可以写成：$$\underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{1}1{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2}-({\alpha }_1+{\alpha }_2)+B$$$$\begin{gathered} s.t.y_1{\alpha }_1+y_2{\alpha }_2=-\sum _{i=3}^N{\alpha }_i{y}_i=\zeta \\ 0\le {\alpha }_i\le C,i=1,2,\dots ,N \end{gathered}$$其中其中$K_{i2}=K(x_i,x_j)，B,\zeta$是常数

• 首先分析约束条件,由于只有两个变量$({\alpha }_1,{\alpha }_2)$，所以约束可以用二维空间中的图形表示:

  
  图中的线段就是目标函数的可行域.

• 由上面的分析可知实质上的单变量的最优化问题，不妨考虑为变量${\alpha }_2$的最优化问题：$${\alpha }_1=-y_1\sum _{i=2}^N{\alpha }_i{y}_i=y_1(\zeta -y_2{\alpha }_2)$$

• 变量符号：初始可行解为$({\alpha }_1^{old},{\alpha }_2^{old})$， 最优解为$({\alpha }_1^{new},{\alpha }_2^{new})$，并且假设在沿着约束方向未经剪辑时${\alpha }_2$的最优解为${\alpha }_2^{new,unc}$.

• 由于${\alpha }_i^{old}$为可行解，所以满足约束条件：$$\sum _{i=1}^N{\alpha }_i^{old}{y}_i=0$$得：$$\sum _{i=1}^N{\alpha }_i^{old}{y}_i=y_1{\alpha }_1^{old}+y_2{\alpha }_2^{old}-\zeta =0$$所以：$$y_1{\alpha }_1^{old}+y_2{\alpha }_2^{old}=\zeta$$

• 最优值${\alpha }_2^{new}$的取值范围:$$L\le {\alpha }_2^{new}\le H$$其中$L$与$H$是${\alpha }_2^{new}$所在的对角线段端点的界.

  
  其中直线的表达式为：$$y_1{\alpha }_1+y_2{\alpha }_2=\zeta =y_1{\alpha }_1^{old}+y_2{\alpha }_2^{old}$$

• 如果$y_1!=y_2$:

  • 取${\alpha }_1=0$得$L：L=max(0,{\alpha }_2^{old}-{\alpha }_1^{old})$
  • 取${\alpha }_1=C$得$H：L=min(C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$

• 如果划$y_1=y_2$，

  • 取${\alpha }_1=C$得$L：L=max(0,{\alpha }_2^{old}+{\alpha }_1^{old}-C)$
  • 取${\alpha }_1=0$得$H：L=min(C,{\alpha }_2^{old}+{\alpha }_1^{old})$
    
    

• 首先求沿着约束直线求解${\alpha }_2$最优解${\alpha }_2^{new,unc}$，即先不考虑上面不等式约束；令：$$g(x)=\sum _{i=1}^N{\alpha }_i{y}_{i}K(x_i,x)+b$$相当于决策函数，但是不是最优的。再令误差为：$$E_i=g(x_i)-y_i=(\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_j,x_i)+b)-y_i$$其中$i=1,2$,再记：$$v_i=\sum _{j=3}^N{\alpha }_j{y}_{j}K(x_j,x_i)=g(x_i)-\sum _{j=1}^2{\alpha }_j{y}_{j}K(x_j,x_i)-bi=1,2$$

• 目标函数可以写成：$$W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{11}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2+y_1{\alpha }_1{v}_1+y_2{\alpha }_2{v}_2-({\alpha }_1+{\alpha }_2)+B$$用${\alpha }_2$来表示${\alpha }_1$：$${\alpha }_1=y_1(\zeta -y_2{\alpha }_2)$$$$y_i^2=1$$带入：$$W({\alpha }_2)=\frac{1}{2}{K}_{11}(\zeta -y_2{\alpha }_2{)}^2+\frac{1}{2}{K}_{11}{\alpha }_2^2+y_2{K}_{12}(\zeta -y_2{\alpha }_2){\alpha }_2+(\zeta -y_2{\alpha }_2)v_1+y_2{\alpha }_2{v}_2-(y_1(\zeta -y_2{\alpha }_2)+{\alpha }_2)+B$$求导：$$\frac{\partial W({\alpha }_2)}{\partial {\alpha }_2}=K_{11}{\alpha }_2-y_2\zeta K_{11}+K_{22}{\alpha }_2+K_{12}{y}_2\zeta -2K_{1}2{\alpha }_2-y_2{v}_1+y_2{v}_2-1+y_1{y}_2$$令其为0，得到：$$(K_{11}+K_{22}{\alpha }_2-2K_{12}){\alpha }_2=y_2(v_1-v_2+y_2-y_1+\zeta K_{11}-\zeta K_{12})$$$$=y_2(y_2-y_1+\zeta K_{11}-\zeta K_{12}+(g(x_1)-\sum _{j=1}^2{\alpha }_j^{old}{y}_j{K}_{1j}-b)-(g(x_2)-\sum _{j=1}^2{\alpha }_j^{old}{y}_j{K}_{2j}-b))$$$$=y_2(y_2-y_1+\zeta K_{11}-\zeta K_{12}+g(x_1)-g(x_2))$$将$\zeta =y_1{\alpha }_1^{old}+y_2{\alpha }_2^{old}$带入：$$(K_{11}+K_{22}{\alpha }_2-2K_{12}){\alpha }_2=y_2(y_2-y_1+g(x_1)-g(x_2)+(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}{y}_2)$$$$(K_{11}+K_{22}{\alpha }_2-2K_{12}){\alpha }_2=y_2(E_1-E_2)+(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}$$$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{(K_{1}1+K_{2}2{\alpha }_2-2K_{1}2)}$$记$(K_{11}+K_{22}{\alpha }_2-2K_{12})=\eta$：$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$$

• 再将${\alpha }_2^{new,unc}$进行剪切：$$f(n)=\{\begin{array}{ll}H,& {\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc},& L<{\alpha }_2^{new,unc}<H\\ L,& L>{\alpha }_2^{new,unc}\end{array}$$

• 再求${\alpha }_1^{new}$$${\alpha }_1=y_1(\zeta -y_2{\alpha }_2)$$$$\zeta =y_1{\alpha }_1^{old}+y_2{\alpha }_2^{old}$$得：$${\alpha }_2^{new}=y_1(y_1{\alpha }_1^{old}+y_2{\alpha }_2^{old}-y_2{\alpha }_2^{new})={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})$$

三、变量的选择方法

• SMO算法在每个子问题中选择两个变量优化，其中至少一个变量是违反KKT条件的.
• 第1个变量的选择：
  • SMO称选择第1个变量的过程为外层循环.外层循环在训练样本中选取违反KKT条件最严重的样本点，并将其对应的变量作为第1个变量.
  • 具体地，检验训练样本点$(x_i,y_i)$是否满足KKT条件， 即:$${\alpha }_1=0\iff y_{i}g(x_i)\ge 1$$$$0<{\alpha }_1<C\iff y_{i}g(x_i)=1$$$${\alpha }_1=C\iff y_{i}g(x_i)<1$$这些式上面KKT条件的总结。其中：$$g(x)=\sum _{i=1}^N{\alpha }_i{y}_{i}K(x_i,x)+b$$
  • 外层循环首先遍历所有满足条件$0<{\alpha }_1<C$的样本点，即在间隔边界上的支持向量点， 检验它们是否满足KKT条件.如果这些样本点都满足KKT条件， 那么遍历整个训练集， 检验它们是否满足KKT条件.
    
    
• 第2个变量的选择：
  • SMO称选择第2个变量的过程为内层循环.假设在外层循环中已经找到第1个变量${\alpha }_1$现在要在内层循环中找第2个变量${\alpha }_2$.
  • 第2个变量选择的标准是希望能使${\alpha }_2$，有足够大的变化.
  • 根据${\alpha }_2$的更新公式：$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$$可知，${\alpha }_2^{new}$是依赖于$|E_1-E_2|$的，为了加快计算速度，一种简单的做法是选择${\alpha }_2$，使其对应的$|E_1-E_2|$最大.因为${\alpha }_1$已定，$E_1$也确定了.如果$E_1$是正的，那么选择最小的$E_i$作为$E_2$；如果$E_1$是负的，那么选择最大的$E_i$作为$E_2$·为了节省计算时间，将所有$E_i$值保存在一个列表中.
  • 在特殊情况下，如果内层循环通过以上方法选择的${\alpha }_2$，不能使目标函数有足够的下降，那么采用以下启发式规则继续选择${\alpha }_2$.遍历在间隔边界上的支持向量点，依次将其对应的变量作为${\alpha }_2$试用，直到目标函数有足够的下降.若找不到合适的${\alpha }_2$，那么遍历训练数据集；若仍找不到合适的${\alpha }_2$，则放弃第1个${\alpha }_1$，再通过外层循环寻求另外的${\alpha }_1$.

四、 阈值和差值的更新：

• 在每次完成两个变量的优化后，都要重新计算阈值$b$.当$0<{\alpha }_1^{new}<C$,时，${\alpha }_1^{new}$在边界上：$$\sum _{i=1}^N{\alpha }_i{y}_i{K}_{i1}+b=y_1$$于是：$$b_1^{new}=y_1-\sum _{i=3}^N{\alpha }_i^{old}{y}_i{K}_{i1}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{21}$$由$E_i$的定义可以得到：$$E_1=g(x_1)-y_1=\sum _{j=1}^N{\alpha }_j{y}_j{K}_{j1}+b-y_1$$$$E_1^{old}=\sum _{j=1}^N{\alpha }_j^{old}{y}_j{K}_{j1}+b^{old}-y_1$$$$y_i-\sum _{j=3}^N{\alpha }_j^{old}{y}_{j}K(x_j,x_i)=-E_1^{old}+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{12}+b^{old}$$所以：$$b_1^{new}=-E_1^{old}-y_1{K}_{11}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{21}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$
  
• 同样,当$0<{\alpha }_2^{new}<C$,时，${\alpha }_2^{new}$也在边界上，那么：$$b_2^{new}=-E_2^{old}-y_1{K}_{12}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{22}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$
  
• 如果${\alpha }_1^{new},{\alpha }_2^{new}$同时满足条件$0<{\alpha }_i^{new}<C，i=1,2$.那么$b_2^{new}=b_1^{new}$.如果${\alpha }_1^{new},{\alpha }_2^{new}$是0或者C，那么$b_2^{new}$和$b_1^{new}$以及它们之间的数都是符合KKT条件的阈值，这时选择它们的中点作为$b^{new}$.
  
• 在每次完成两个变量的优化之后，还必须更新对应的$E_i$值，并将它们保存在列表中,使用下面公式：$$E_i=g(x_i)-y_i=\sum _{j=1}^N{\alpha }_j{y}_j{K}_{j}i+b^{new}-y_i$$
  
  后篇：【统计学习方法】支持向量机之线性支持向量机