SVM算法（五）SMO算法

根据前文SVM算法（四）接近线性可分的SVM求解，通过软边界的设定以及拉格朗日函数对偶问题的求解，同时引入核函数，最终的分隔面求解问题变成了如下拉格朗日乘子$\alpha$的二次规划问题：
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^n{\alpha }_i\\ & s.t.0\le \alpha \le C\\ & \sum _{i=1}^n{\alpha }_i{y}_i=0\end{array}$$求解二次规划问题有多种方法，本文介绍常用的SMO算法(序列最小化优化，Sequential Minimal Optimization)，其优点主要体现在：每次对一组${\alpha }_i,{\alpha }_j$进行迭代优化，可以减小计算量。

一、一组${\alpha }_i,{\alpha }_j$的二次优化问题

对偶问题中存在$n$个未知量$\alpha$（即拉格朗日乘子，数量等同于数据量），目标解应能够满足KKT条件，当然满足KKT条件的一组$\alpha$即为目标解。根据SVM算法（四）接近线性可分的SVM求解中对各类点与分隔面的关系论述，存在如下三种情况，分别对应于错分点（需通过软件软间隔修正）、支持向量和远离分割面点（划分正确）：$$\begin{array}{rl}& {\alpha }_i=C\iff y_i(w{x}_i+b)\le 1\\ & 0<{\alpha }_i<C\iff y_i(w{x}_i+b)=1\\ & {\alpha }_i=0\iff y_i(w{x}_i+b)\ge 1\end{array}$$我们难以一次性求出满足适合于上述条件的一组$\alpha$，根据问题分解的思想，我们假设每次只变动两个变量${\alpha }_i,{\alpha }_j$，固定住其它变量，通过这种迭代，可以使目标函数不断变小，从而求得满足KKT条件的全部$\alpha$，使得目标函数的最小值。
根据这种思想，不妨只探讨变量为${\alpha }_1$和${\alpha }_2$情形，此时最小化问题可改写为：$$\begin{array}{rl}& \underset{{\alpha }_1,{\alpha }_2}{\min }\frac{1}{2}{\alpha }_1^2{K}_{11}+\frac{1}{2}{\alpha }_2^2{K}_{22}+{\alpha }_1{y}_1\sum _{i=3}^n{\alpha }_i{y}_i{K}_{1i}+{\alpha }_2{y}_2\sum _{i=3}^n{\alpha }_i{y}_i{K}_{2i}-{\alpha }_1-{\alpha }_2\\ & s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^n{\alpha }_i{y}_i=\zeta \\ & 0\le {\alpha }_1\le C,0\le {\alpha }_2\le C\end{array}$$其中$K_{ij}$表示$K(x_i,x_j)$暂不考虑可行域，将${\alpha }_1=y_1(\zeta -{\alpha }_2{y}_2)$代入目标函数，可得：$$W=\frac{1}{2}{K}_{11}(\zeta -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+(\zeta -{\alpha }_2{y}_2){\alpha }_2{y}_2{K}_{12}-y_1(\zeta -{\alpha }_2{y}_2)-{\alpha }_2+\sum _{i=3}^n(\zeta -{\alpha }_2{y}_2){\alpha }_i{y}_i{K}_{1i}+\sum _{i=3}^n{\alpha }_2{y}_2{\alpha }_i{y}_i{K}_{2i}$$为方便推导，不妨令：$$\begin{array}{rl}& g(x_j)=\sum _{i=1}^n{\alpha }_i{y}_i{K}_{ij}+b\\ & v(x_j)=\sum _{i=3}^n{\alpha }_i{y}_i{K}_{ij}=g(x_j)-{\alpha }_1{y}_1{K}_{1j}-{\alpha }_2{y}_2{K}_{2j}-b\end{array}$$注意到$g(x_i)$即为根据参数$\alpha ,b$得到的$x_i$的预测值（未加符号函数，可理解成函数距离），因此目标函数可进一步写成：$$W=\frac{1}{2}{K}_{11}(\zeta -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+(\zeta -{\alpha }_2{y}_2){\alpha }_2{y}_2{K}_{12}-y_1(\zeta -{\alpha }_2{y}_2)-{\alpha }_2+(\zeta -{\alpha }_2{y}_2)v_1+{\alpha }_2{y}_2{v}_2$$
这是关于${\alpha }_2$单变量的二次函数，通过令其导数为0求得最值：$$\frac{\partial W}{\partial {\alpha }_2}={\alpha }_2(K_{11}+K_{22}-2K_{12})-\zeta y_2{K}_{11}+\zeta y_2{K}_{12}+y_1{y}_2-1-y_2{v}_1+y_2{v}_2=0$$将$v_1,v_2$分别用$g(x_1),g(x_2)$表示，以及$y_2^2=1$可得$$\begin{array}{rl}(K_{11}+K_{22}-2K_{12}){\alpha }_2& =y_2(\zeta K_{11}-\zeta K_{12}-y_1+y_2+v_1-v_2)\\ & =y_2[\zeta K_{11}-\zeta K_{12}-y_1+y_2+(g(x_1)-{\alpha }_1{y}_1{K}_{11}-{\alpha }_2{y}_2{K}_{12}-b)-(g(x_2)-{\alpha }_1{y}_1{K}_{12}-{\alpha }_2{y}_2{K}_{22}-b)]\end{array}$$注意到，在上式等号左端项的${\alpha }_2$为更新后的目标参数（用${\alpha }_2^{new}$表示），而等号右端项中由$\zeta ,v$得到的${\alpha }_1,{\alpha }_2$均为预先固定，即更新前的参数值（用${\alpha }_2^{old}$表示）。
同时，令$E_i$表示预测函数距离与真实$y_i$的差，即：$$E_i=g(x_i)-y_i$$因此，导数为0的式子可简化为：$$(K_{11}+K_{22}-2K_{12}){\alpha }_2^{new}=(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}+y_2(E_1-E_2)$$这即为${\alpha }_2$的迭代公式，根据约束条件${\alpha }_1{y}_1+{\alpha }_2{y}_2=\zeta$，可同步更新对应的${\alpha }_1$。

二、带约束最小问题的求解

在上面的推导过程中，还存在两点漏洞需要解决：
（1）如何保证经过这样迭代的目标$W$变小？
（2）${\alpha }_2$在求解中忽略了可行域的影响。

对于问题（1），注意到$W$关于${\alpha }_2$的二次项系数为$K_{11}+K_{22}-2K_{12}$，假设对应核函数$K$的隐式特征空间变换函数为$\varphi$，则该系数可写成：$$\varphi (x_1)\varphi (x_1)+\varphi (x_2)\varphi (x_2)-2\varphi (x_1)\varphi (x_2)=||\varphi (x_1)-\varphi (x_2)|{|}^2\ge 0$$非特殊情况下，$\varphi (x_1)\ne \varphi (x_2)$，这意味着目标函数$W$为开口向上的二次函数，存在最小值。通过令梯度为0可以保证目标函数变小。
令$\eta =K_{11}+K_{22}-2K_{12}$，则${\alpha }_2$的迭代公式可改写为：$${\alpha }_2^{new}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$$

对于问题（2），因为${\alpha }_1{y}_1+{\alpha }_2{y}_2=\zeta$，且$0\le \alpha \le C$，显然${\alpha }_2$并不能任意取值。因为 y 1 , y 2 ∈ { + 1 , − 1 } y_1,y_2\in\{+1,-1\} y1​,y2​∈{+1,−1}，所里存在两种情况：$y_1=y_2$和$y_1\ne y_2$。
又考虑到等式的对称性，不妨令这两种情况分别对应于：$$\begin{array}{r}{\alpha }_1-{\alpha }_2=\zeta \\ {\alpha }_1+{\alpha }_2=\zeta \end{array}$$分别用二维平面表示约束条件：

对于${\alpha }_1-{\alpha }_2=\zeta$：
如果$\zeta >0$，即${\alpha }_1>{\alpha }_2$，新的${\alpha }_2$约束边界为$[0,C-\zeta ]$;
如果$\zeta <0$，即${\alpha }_1<{\alpha }_2$，新的${\alpha }_2$约束边界为$[-\zeta ,C]$
将两者合并，边界为$[\max (0,-\zeta ),\min (C,C-\zeta )]$，用原始的${\alpha }_1^{old},{\alpha }_2^{old}$表示，即为：
$$\begin{array}{rl}& L=\max (0,{\alpha }_2^{old}-{\alpha }_1^{old})\\ & H=\min (C,C+{\alpha }_2^{old}-{\alpha }_1^{old})\end{array}$$
对于${\alpha }_1+{\alpha }_2=\zeta$：
如果$\zeta <C$，新的${\alpha }_2$约束边界为$[0,\zeta ]$;
如果$\zeta >C$，新的${\alpha }_2$约束边界为$[\zeta -C,C]$;
将两者合并，边界为$[\max (0,\zeta -C),\min (C,\zeta )]$，
用原始的${\alpha }_1^{old},{\alpha }_2^{old}$表示，即为：
$$\begin{array}{rl}& L=\max (0,{\alpha }_2^{old}+{\alpha }_1^{old}-C)\\ & H=\min (C,{\alpha }_2^{old}+{\alpha }_1^{old})\end{array}$$
因此，在求得无约束的最优解${\alpha }_2^{new,unc}$，后需要根据约束边界进行裁剪。经裁剪后的最优解是：$${\alpha }_2^{new}=\{\begin{array}{l}H,{\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc},L\le {\alpha }_2^{new,unc}\le H\\ L,{\alpha }_2^{new,unc}<L\end{array}$$

三、SMO算法流程

基于上述的推导，完整的SMO算法流程如下：
1）选取一组初值${\alpha }_i^{(0)}$（一般取0），上标$k$表示迭代轮数，对于初值即$k=0$
2）选择一组需要更新的${\alpha }_1^{(k)},{\alpha }_2^{(k)}$。那如何选择呢？其包含外循环寻找${\alpha }_1^{(k)}$和内循环寻找${\alpha }_2^{(k)}$两个阶段。
外循环搜索${\alpha }_1^{(k)}$。注意到最优解${\alpha }^{\ast }$满足KKT条件，无需更新。那意味着需要迭代的${\alpha }_i$必然违背KKT条件。因此我们可以按照支持向量点（对应$0<{\alpha }_i<C$）——>所有其余点的顺序选出违背KKT条件最严重的一组点作为$(x_1,y_1)$，对应的拉格朗日乘子即为${\alpha }_1^{(k)}$。
内循环搜索${\alpha }_2^{(k)}$。注意到${\alpha }_2^{new}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$，为使得迭代加速，希望${\alpha }_2$变换程度大。换言之，希望$\frac{y_2(E_1-E_2)}{\eta }$的绝对值大。一种简单的做法是，选择与$E_1$符号相反、且绝对值最大的$E_2$对应的点作为$(x_2,y_2)$，对应的拉格朗日乘子即为${\alpha }_2^{(k)}$。
3）按照上文的解析方法，得到更新的后的${\alpha }_1^{(k+1)},{\alpha }_2^{(k+1)}$
4）如果所有的${\alpha }_i^{(k+1)}$均满足约束条件和KKT条件，即满足：$$\begin{array}{rl}& \sum _{i=1}^n{\alpha }_i^{(k+1)}{y}_i=0\\ & 0\le {\alpha }_i^{(k+1)}\le C\\ & y_i\ast g(x_i)=\{\begin{array}{l}\ge 1,if{\alpha }_i=0\\ =1,if0<{\alpha }_i<C\\ \le 1,if{\alpha }_i=C\end{array}\end{array}$$其中$g(x_i)$为根据当前${\alpha }^{(k)}$得到的预测的函数间距，即$$g(x_i)=\sum _{j=1}^n{\alpha }_j^{(k+1)}{y}_{j}K(x_j,x_i)+b$$则取得目标最优的一组${\alpha }^{\ast }$
否则，转向步骤2）进行下一轮${\alpha }^{(k+1)}$的筛选和迭代。

四、小结

SMO算法是求解SVM对偶问题（二次规划问题）的一种快速迭代算法。其将原始$n$个拉格朗日乘子的最优化求解分解为一组${\alpha }_1,{\alpha }_2$的子问题进行逐个解决，最终求得满足约束条件和KKT条件的最优解。
这种将问题分解为子问题，进行局部解决和迭代的思想值得深刻理解和掌握。