python3《机器学习实战系列》学习笔记----5.2 SMO(序列最小优化)算法求解SVM

前言

     机器学习实战系列之学习笔记主要是本人进行学习机器学习的整理。本系列所有代码是用python3编写，并使用IDE Pycharm在Windows平台上编译通过。本系列所涉及的所有代码和资料可在我的github或者码云上下载到，gitbub地址：https://github.com/mcyJacky/MachineLearning，码云地址：https://gitee.com/mcyHome/MachineLearning，如有问题，欢迎指出~。

一、SMO算法概述

1.1 简述

     SMO(Sequential minimal optimization)算法，即序列最小最优化算法，是一种用于解决支持向量机训练过程中所产生优化问题的算法。1998年由微软研究院Platt提出，目前被广泛使用于SVM的训练过程中，并在通行的SVM库LIBSVM中得以实现。在上一篇文章中，我们知道支持向量机的学习问题可以形式化为求解凸二次规划问题，这样的凸二次规划问题具有全局最优解，并且有许多最优化算法可以用于这一问题的求解，但是当训练样本容量很大时，这些算法就变得非常低效，以致无法使用。所有才使用SMO这种快速实现的算法。
     SMO算法要求解如下凸二次规划的对偶问题：
$$\{\begin{array}{l}\underset{\alpha }{\min }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i{x}_j)-{\sum }_{i=1}^N{\alpha }_i\\ s.t.{\sum }_{j=1}^N{\alpha }_i{y}_i=0\\ 0\le {\alpha }_i\le C,i=1,2,...,N\end{array}\text{\hspace{1em}(1.1)}$$
在这个问题中，变量是拉格朗日乘子，一个变量${\alpha }_i$对应于一个样本点$(x_i,y_i)$；变量的总数等于训练样本容量$N$。

1.2 基本思路

     SMO算法是一种启发式算法，其基本思路是：如果所有变量的解都满足此最优化问题的KKT条件，那么这个最优化问题的解就得到了。因为KKT条件是该最优化问题的充分必要条件。否则，选择两个变量，固定其他变量，针对这两个变量构建一个二次规划问题。这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解，因为这会使得原始二次规划问题的目标函数值变得更小。重要的是，这时子问题可以通过解析方法求解，这样就可以大大提高整个算法的计算速度。子问题有两个变量，一个是违反KKT最严重的一个，另一个由约束条件自动确定。如此，SMO算法将原问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。
     注意，子问题的两个变量中只有一个是自由变量。假设${\alpha }_1,{\alpha }_2$为两个变量，${\alpha }_3,{\alpha }_4,...,{\alpha }_N$固定，那么由式(1.1)等式约束可知：
$${\alpha }_1=-y_1\sum _{i=2}^N{\alpha }_i{y}_i$$
所以如果${\alpha }_2$确定，那么${\alpha }_1$也随之确定，所以子问题中同时更新两个变量。
     整个SMO算法包括两个部分：求解两个变量二次规划的解析方法和选择变量启发式方法。

二、SMO算法求解

2.1 两个变量二次规划的求解方法

     我们假设选择的两个变量是${\alpha }_1,{\alpha }_2$，其它变量${\alpha }_i(i=3,4,...,N)$是固定的。于是SMO算法的最优化问题式(1.1)的子问题可以写成：
$$\{\begin{array}{l}\underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1-{\alpha }_2)\\ +y_1{\alpha }_1{\sum }_{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2{\sum }_{i=3}^N{y}_i{\alpha }_i{K}_{i2}\\ s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-{\sum }_{i=3}^N{y}_i{\alpha }_i=\zeta \\ 0\le {\alpha }_i\le C,i=1,2\end{array}\text{\hspace{1em}(2.1)}$$
其中，$K_{ij}=K(x_i,x_j),i,j=1,2,..,N,\zeta$是常数，目标函数式(2.1)中省略了常数项。
     为了求解两个变量的二次规划问题式(2.1)，首先分析约束条件，然后在此约束条件下求极小值。由于只有两个变量$({\alpha }_1,{\alpha }_2)$，可以用二维空间中的图形表示。假设问题(2.1)的初始可行解为${\alpha }_1^{old},{\alpha }_2^{old}$,最优解为${\alpha }_1^{new},{\alpha }_2^{new}$ ，且假设沿着约束方向未经剪辑时约束${\alpha }_2$的最优解为${\alpha }_2^{new,unc}$。
①当$y_1̸=y_2=>{\alpha }_1-{\alpha }_2=k$

图2.1 二次变量优化约束第一种情况

②当$y_1=y_2=>{\alpha }_1+{\alpha }_2=k$

图2.2 二次变量优化约束第二种情况

分析： 不等式约束使得$({\alpha }_1,{\alpha }_2)$在矩形盒[0,C]x[0,C]内，等式约束使得$({\alpha }_1,{\alpha }_2)$在平行于盒子的对角线的直线上，因此要求的是目标函数在一条平行于对角线的线段上的最优值，这使得两个变量的最优化问题成为实质上的单变量的最优化问题，不妨考虑为变量${\alpha }_2$的最优化问题：
     由于${\alpha }_2^{new}$需满足式(2.1)中不等式约束，所以${\alpha }_2^{new}$的取值范围必须满足条件：
$$L\le {\alpha }_2^{new}\le H$$
其中，$L与H$是${\alpha }_2^{new}$所在的对角线端点的界。如果$y_1̸=y_2$，如图2.1所以，则：
$$L=\max (0,{\alpha }_2^{old}-{\alpha }_1^{old}),H=\min (C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$$
如果$y_1=y_2$，如图2.2所以，则：
$$L=\max (0,{\alpha }_2^{old}+{\alpha }_1^{old}-C),H=\min (C,{\alpha }_2^{old}+{\alpha }_1^{old})$$

     下面，首先求沿着约束方向未经过剪辑即未考虑不等式约束时${\alpha }_2$的最优解${\alpha }_2^{new,func}$；然后再求剪辑后${\alpha }_2$的最优解${\alpha }_2^{new}$。为了叙述简单，我们记：
$$g(x)=\sum _{i=1}^N{\alpha }_i{y}_{i}K(x_i,x)+b\text{\hspace{1em}(2.2)}$$
令：
$$E_i=g(x_i)-y_i=(\sum _{j=1}^N{\alpha }_i{y}_{i}K(x_j,x_i)+b)-y_i,i=1,2\text{\hspace{1em}(2.3)}$$
当$i=1,2$时，$E_i$为函数$g(x)$对输入$x_i$的预测值与真实输出$y_i$之差。
下面是公式推导过程：
     我们记：
$$v_i=\sum _{j=3}^N{\alpha }_j{y}_{j}K(x_i,x_j)=g(x_i)-\sum _{j=1}^2{\alpha }_j{y}_{j}K(x_i,x_j)-b$$
则目标函数式(2.1)可写成：
$$W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1-{\alpha }_2)+y_1{v}_1{\alpha }_1+y_2{v}_2{\alpha }_2\text{\hspace{1em}(2.4)}$$
又由${\alpha }_1{y}_1=\zeta -{\alpha }_2{y}_2$及$y_i^2=1$，可将${\alpha }_1$表示为
$${\alpha }_1=(\zeta -{\alpha }_2{y}_2)y_1$$
将其带入式(2.4)，得到只是关于${\alpha }_2$函数的目标函数：
$$\begin{gathered} W({\alpha }_2)=\frac{1}{2}{K}_{11}(\zeta -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}(\zeta -{\alpha }_2{y}_2){\alpha }_2 \\ -(\zeta -{\alpha }_2{y}_2)y_1-{\alpha }_2+v_1(\zeta -{\alpha }_2{y}_2)+y_2{v}_2{\alpha }_2\text{\hspace{1em}(2.5)} \end{gathered}$$
式(2.5)对${\alpha }_2$求导：
$$\frac{\partial W}{\partial {\alpha }_2}=K_{11}{\alpha }_2+K_{22}{\alpha }_2-2K_{12}{\alpha }_2-K_{11}\zeta y_2+K_{12}\zeta y_2+y_1{y}_2-1-v_1{y}_2+y_2{v}_2\text{\hspace{1em}(2.6)}$$
令式(2.6)为0，得：
$$\begin{gathered} (K_{11}+K_{22}-2K_{12}){\alpha }_2=y_2(y_2-y_1+\zeta K_{11}-\zeta K_{12}+v_1-v_2) \\ =y_2[y_2-y_1+\zeta K_{11}-\zeta K_{12}+(g(x_1)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{1j}-b)-(g(x_2)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{2j}-b\left)\right] \end{gathered}$$
将$\zeta ={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2$代入，得到：
$$\begin{gathered} (K_{11}+K_{22}-2K_{12}){\alpha }_2^{new,unc}=y_2((K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}{y}_2+y_2-y_1+g(x_1)-g(x_2)) \\ =(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}+y_2(E_1-E_2) \end{gathered}$$
将$\eta =K_{11}+K_{22}-2K_{12}$代入，于是得到：
$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }\text{\hspace{1em}(2.7)}$$
所以要使其满足不等式约束必须将限制在区间[L,H]内，从而得到新的${\alpha }_2^{new}$的表达式：
$${\alpha }_2^{new}=\{\begin{array}{cc}H,& {\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc},& L\le {\alpha }_2^{new,unc}\le H\\ L,& {\alpha }_2^{new,unc}<L\end{array}\text{\hspace{1em}(2.8)}$$
由${\alpha }_2^{new}$求得${\alpha }_1^{new}$是：
$${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})\text{\hspace{1em}(2.9)}$$

2.2 变量的选择方法

     SMO算法在每个子问题中选择两个变量优化，其中至少一个变量是违反KKT条件的。
①第一个变量选择
     SMO称选择第一个变量的过程为外层循环。外层循环在训练样本中选取违反KKT条件最严重的样本点，并将其对应的变量作为第1个变量。具体地，检验训练样本点$(x_i,y_i)$是否满足KKT条件，即：
$${\alpha }_i=0\Rightarrow y_{i}g(x_i)\ge 1\text{\hspace{1em}(2.10)}$$
$$0<{\alpha }_i<C\Rightarrow y_{i}g(x_i)=1\text{\hspace{1em}(2.11)}$$
$${\alpha }_i=C\Rightarrow y_{i}g(x_i)\le 1\text{\hspace{1em}(2.12)}$$
其中，$g(x_i)={\sum }_{j=1}^N{\alpha }_j{y}_{j}K(x_i,x_j)+b$。
     该检测是在$\epsilon$范围内进行的，在检测过程中，外层循环首先遍历所有满足条件$0<{\alpha }_i<C$的样本点，即在间隔边界上的支持向量点，检验它们是否满足KKT条件。如果这些样本点都满足KKT条件，那么遍历整个训练集，检验它们是否满足KKT条件。

②第二个变量选择
     SMO称选择第2个变量过程为内层循环。假设在外层循环中已经找到第1个变量${\alpha }_1$，现在要在内层循环中找第2个变量${\alpha }_2$。第2个变量选择的标准是希望能使${\alpha }_2$有足够大的变化。
     由式(2.7)和(2.8)可知，${\alpha }_2^{new}$是依赖于$|E_1-E_2|$的，为了加快计算速度，一种简单的做法是选择${\alpha }_2$，使其对应的$|E_1-E_2|$最大。因为${\alpha }_1$已定，$E_1$也确定了。如果$E_1$是正的，那么选择最小的$E_i$作为$E_2$；如果$E_1$是负的，那么选择最大的$E_i$作为$E_2$。为了节省计算时间，我们将所有$E_i$值都保存在一个列表中。
     在某种特殊情况下，如果内层循环通过以上方法选择的${\alpha }_2$不能使目标函数有足够大的下降，那么采用以下启发式规则继续选择${\alpha }_2$：遍历在间隔边界上的支持向量点，依次将其对应的变量作为${\alpha }_2$试用，直到目标函数有足够的下降，若找不到合适的${\alpha }_2$，那么遍历训练数据集；若仍找不到合适的${\alpha }_2$，则放弃第一个${\alpha }_1$，再通过外层循环寻找另外的${\alpha }_1$。

③计算阈值$b$和差值$E_i$
     在每次完成两个变量的优化后，都要重新计算阈值$b$。当$0<{\alpha }_1^{new}<C$时，由KKT条件可知：
$$\sum _{i=1}^N{\alpha }_i{y}_i{K}_{i1}+b=y_1$$
于是：
$$b_1^{new}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{21}\text{\hspace{1em}(2.13)}$$
根据$E_1$的定义式(2.3)有：
$$E_1=\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b^{old}-y_1$$
式(2.13)前两项可以写成：
$$y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}=-E_1+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b^{old}$$
带入式(2.13)得：
$$b_1^{new}=-E_1-y_1{K}_{11}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{21}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}\text{\hspace{1em}(2.14)}$$
同样的，如果$0<{\alpha }_2^{new}<C$时，那么：
$$b_2^{new}=-E_2-y_1{K}_{12}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{22}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}\text{\hspace{1em}(2.15)}$$
     所以如果${\alpha }_1^{new},{\alpha }_2^{new}$同时满足$0<{\alpha }_i^{new}<C,i=1,2$，那么$b_1^{new}=b_2^{new}$。如果${\alpha }_1^{new},{\alpha }_2^{new}$是0或者$C$，那么$b_1^{new}$和$b_2^{new}$以及它们之间的数都符合KKT条件的阈值，这时选择它们的中点作为$b^{new}$。
     在每次完成两个变量的优化之后，还必须更新对应的$E_i$值，并将它们保存在列表中。$E_i$值的更新要用到$b^{new}$值，以及所有支持向量对应的${\alpha }_j$：
$$E_i^{new}=\sum _S{y}_j{\alpha }_{j}K(x_i,x_j)+b^{new}-y_i\text{\hspace{1em}(2.16)}$$
其中，$S$是所有支持向量$x_j$的集合。

2.3 SMO伪算法

     输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T=\{(x_1, y_1),(x_2, y_2),\cdots,(x_N, y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中，$x_i\in {\mathbf{R}}^n$, y i ∈ { − 1 , + 1 } , i = 1 , 2 , ⋯ &ThinSpace; , N y_i \in \{ -1,+1\},i=1,2,\cdots,N yi​∈{−1,+1},i=1,2,⋯,N，精度为$\epsilon$；

     输出：近似解$\hat{\alpha }$.

     (1) 取${\alpha }^{(0)}=0,令k=0$;

     (2) 选取优化变量${\alpha }_1^{(k)},{\alpha }_2^{(k)}$，解析求解两个变量的最优化问题式(2.1)，求得最优解${\alpha }_1^{(k+1)},{\alpha }_2^{(k+1)}$，更新$\alpha$为${\alpha }^{k+1}$;

     (3) 若在精度$\epsilon$范围内满足停机条件：
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$0\le {\alpha }_i\le C，i=1,2,\cdots ,N$$
y i g ( x i ) = { ≥ 1 , { x i ∣ α i = 0 } = 1 , { x i ∣ 0 ≤ α i ≤ C } ≤ 1 , { x i ∣ α i = C } y_ig(x_i)= \left \{\begin{array}{cc} \geq1, &amp;\{x_i|α_i = 0\}\\ =1, &amp; \quad\quad\{x_i| 0 \leq α_i \leq C\}\\ \leq 1, &amp;\{x_i|α_i = C\} \end{array}\right. yi​g(xi​)=⎩⎨⎧​≥1,=1,≤1,​{xi​∣αi​=0}{xi​∣0≤αi​≤C}{xi​∣αi​=C}​
其中$$g(x_i)=\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_j,x_i)+b$$.
则转(4);否则令$k=k+1$,则转(2);

     (4) 取$\hat{\alpha }={\alpha }^{(k+1)}$;

三、小结

     本章介绍了SMO算法推导过程，支持向量机及SMO算法实现，是学习到目前为止最为复杂的算法，因此也耗费了我很多的时间。理论推导还是需要运用于实践，下面一篇将具体介绍如果用Python实现支持向量机及SMO算法。

【参考】：
     1. 《统计学习方法》作者：李航   第7章 支持向量机中SMO算法

---

转载声明：
版权声明：非商用自由转载-保持署名-注明出处
署名 ：mcyJacky
文章出处：https://blog.csdn.net/mcyJacky