【机器学习】支持向量机原理（四）SMO算法原理

　　　在SVM的前三篇里，我们优化的目标函数最终都是一个关于$\ \alpha$ 向量的函数。而怎么极小化这个函数，求出对应的$\ \alpha$ 向量，进而求出分离超平面我们没有讲。本篇就对优化这个关于$\ \alpha$ 向量的函数的SMO算法做一个总结。

---

回顾SVM优化目标函数

　　　我们首先回顾下我们的优化目标函数：

$$\begin{equation} \underbrace {min}_{\alpha} \frac {1}{2}\sum\limits_{i=1}^m \sum\limits_{j=1}^m \alpha_i \alpha_j y_i y_j K(x_i,x_j) - \sum\limits_{i=1}^m \alpha_i \notag \\ s.t. \,\, \sum\limits_{i=1}^m \alpha_iy_i=0 \\ 0 \leq \alpha_i \leq C \end{equation}$$ 　
　　　我们的解要满足的KKT条件的对偶互补条件为：
$$\begin{equation} \alpha_i^* (y_i(w^Tx_i+b)-1)=0 \end{equation}$$
　　　根据这个KKT条件的对偶互补条件，我们有：
$$\begin{equation} \alpha_i^* =0 \Rightarrow y_i(w^* \bullet \phi(x_i)+b)-1) \geq1 \\ 0<\alpha_i^*<C \Rightarrow y_i(w^* \bullet \phi(x_i)+b)-1) =1 \\ \alpha_i^*=C \Rightarrow y_i(w^* \bullet \phi(x_i)+b)-1) \leq1 \end{equation}$$
　　　由于 $\ w^*=\sum\limits_{j=1}^m \alpha_j^*y_j \phi(x_j)$，我们令 $\ g(x)=w^* \bullet \phi(x)+b = \sum\limits_{j=1}^m \alpha_i^*y_j K(x,x_j)+b^*$，则有：
$$\begin{equation} \alpha_i^*=0 \Rightarrow y_ig(x_i) \geq1 \\ 0<\alpha_i^*<C \Rightarrow y_ig(x_i) =1 \\ \alpha_i^*=C \Rightarrow y_ig(x_i) \leq1 \end{equation}$$ 　　　

---

SMO算法的基本思想

　　　上面这个优化式子比较复杂，里面有m个变量组成的向量$\ \alpha$ 需要在目标函数极小化的时候求出。直接优化时很难的。SMO算法则采用了一种启发式的方法。它每次只优化两个变量，将其他的变量都视为常数。由于$\ \sum\limits_{i=1}^m \alpha_iy_i=0$.假如将$\ \alpha_3,\alpha_4,...,\alpha_m$固定，那么$\ \alpha_1,\alpha_2$之间的关系也确定了。这样SMO算法将一个复杂的优化算法转化为一个比较简单的两变量优化问题。
　　　
　　　为了后面表示方便，我们定义$\ K_{ij}=\phi(x_i) \bullet \phi(x_j)$
　　　
　　　由于$\ \alpha_3,\alpha_4,...,\alpha_m$都成了常量，所有的常量我们都从目标函数去除，这样我们上一节的目标优化函数变成下式：

$$\begin{align*} \underbrace {min}_{\alpha_1,\alpha_2} \frac {1}{2}K_{11}\alpha_1^2 + \frac {1}{2}K_{22}\alpha_2^2 + y_1y_2K_{12} \alpha_1\alpha_2 - (\alpha_1+\alpha_2) + y_1\alpha_1 \sum\limits_{i=3}^my_i\alpha_iK_{i1} \\ +y_2\alpha_2\sum\limits_{i=3}^my_i\alpha_iK_{i2} \tag {1} \\ s.t. \,\, \alpha_1y_1+\alpha_2y_2 = - \sum\limits_{i=3}^my_i\alpha_i = 常数\varsigma \tag {2} \\ 0\leq \alpha_i \leq C \,\, i=1,2 \tag {3} \end{align*}$$ 　　　

---

SMO算法目标函数的优化

　　　本部分的总体思路：首先将目标函数看作是一个关于$\ \alpha_1,\alpha_2$的二元二次函数$\ W(\alpha_1,\alpha_2)$，然后通过条件$\ \alpha_1y_1+\alpha_2y_2 =\varsigma$将目标函数转化为一个关于$\ \alpha_2$的一元二次函数$\ W(\alpha_2)$，我们的最终目标是求出$\ W(\alpha_2)$在参数$\ \alpha_2$可行域范围内的函数最小值。
　　下文第一部分先求出$\ W(\alpha_2)$的极值点$\ \alpha_2^{new,unclipped}$。下文第二部分根据约束条件
($\ \alpha_1y_1+\alpha_2y_2 =\varsigma,0\leq \alpha_i \leq C \,\, i=1,2$）求出$\ \alpha_2$的可行域。下文第三部分，分类讨论一元二次函数$\ W(\alpha_2)$的最优解$\ \alpha_2^*$在$\ \alpha_2$的可行域边界取得还是在极值点取得。第四部分通过$\ \alpha_1,\alpha_2$的关系，由$\ \alpha_2$求出$\ \alpha_1$.

1. 不考虑约束条件（$\ \alpha_1y_1+\alpha_2y_2 =\varsigma,0\leq \alpha_i \leq C \,\, i=1,2$），对目标函数求极值点

　　　首先我们的目标函数是一个二元二次函数：

$$\begin{align} W(\alpha_1,\alpha_2) &=\frac {1}{2}K_{11}\alpha_1^2 + \frac {1}{2}K_{22}\alpha_2^2 + y_1y_2K_{12} \alpha_1\alpha_2 - (\alpha_1+\alpha_2) \\ & \,\,\,\,\,\, + y_1\alpha_1 \sum\limits_{i=3}^my_i\alpha_iK_{i1} +y_2\alpha_2\sum\limits_{i=3}^my_i\alpha_iK_{i2} \\ &=\frac {1}{2}K_{11}\alpha_1^2 + \frac {1}{2}K_{22}\alpha_2^2 + y_1y_2K_{12} \alpha_1\alpha_2 - (\alpha_1+\alpha_2) + y_1\alpha_1 v_1 +y_2\alpha_2v_2 \end{align}$$

其中

$$\begin{cases} v_i=\sum\limits_{j=3}^my_j\alpha_jK_{ij} =g(x_i)-\sum\limits_{j=1}^2y_ja_jk_{ij}-b ,\,\, i=1,2 \tag {4} \\ g(x)=w \bullet \phi(x)+b = \sum\limits_{j=1}^m \alpha_iy_j K(x,x_j)+b \end{cases}$$

　　　由于$\ \alpha_1y_1+\alpha_2y_2 = \varsigma$，并且$\ y_i^2=1$，可以得到用$\ \alpha_2$表达$\ \alpha_1$的式子：

$$\begin{align} \alpha_1=y_1(\varsigma-\alpha_2y_2) \end{align}$$ 　
　　　将上式带入我们的目标优化函数，就可以消除 $\ \alpha_1$，得到仅仅包含 $\ \alpha_2$的式子为：
$$\begin{align} W(\alpha_2) &=\frac {1}{2}K_{11}(\varsigma-a_2y_2)^2 + \frac {1}{2}K_{22}\alpha_2^2 + y_2K_{12}(\varsigma-a_2y_2)\alpha_2 - (y_1(\varsigma-\alpha_2y_2) + \alpha_2) \\ & \,\,\,\,\,\, + (\varsigma-a_2y_2)v_1 + y_2\alpha_2v_2 \end{align}$$ 　
　
　　　显然 $\ W(\alpha_2)$是一个一元二次方程，最优解 $\alpha_2^*$只能是约束条件（ $\ 0 \leq \alpha_i \leq C$）规定的可行域的边界值，或者是 $\ W(\alpha_2)$的极值点。现在我们先对其求极值点，即对 $\ \alpha_2$求导并令为0得：
$$\begin{align} \frac {\partial W(\alpha_2)}{\partial \alpha_2} &= (K_{11}+K_{22}-2K_{12})\alpha_2 - K_{11}\varsigma y_2 + K_{12}\varsigma y_2 + y_1y_2 -1 \\ & \,\,\,\,\,\,\, -v_1y_2 +v_2y_2 =0 \tag {5} \end{align}$$ 　　
　　　这时候我们定义 $\ E_i$表示预测值 $\ g(x_i)$与真实值 $\ y_i$之差：
$$\begin{align} E_i=g(x_i)-y_i \tag {6} \end{align}$$ 　　　　　
　　　这时我们记优化前的解为 $\ \alpha_1^{old} , \alpha_2^{old}$，优化后的解为 $\ \alpha_1^{new} , \alpha_2^{new}$，由约束条件 $\ \sum\limits_{i=1}^m y_i\alpha_i=0$，有 $\ \alpha_1^{old}y_1 + \alpha_2^{old}y_2 = \alpha_1^{new}y_1 + \alpha_1^{new}y_2=\varsigma$ ，即
$$\begin{align} \alpha_1^{new}y_1 + \alpha_1^{new}y_2=\varsigma \tag {7} \end{align}$$ 　
进行下一步化简，将式子（4）（6）（7）代入式子（5），此时求解出的 $\ \alpha_2^{new}$未考虑约束条件（ $\ 0 \leq \alpha_i \leq C$），先记为 $\ \alpha_2^{new,unclipped}$：
$$\begin{align} (K_{11}+K_{22}-2K_{12})\alpha_2^{new,unclipped} = (K_{11}+K_{22}-2K_{12})\alpha_2^{old} + y_2(E_1-E_2) \tag {8} \end{align}$$ 　
　　　我们终于得到了 $\ \alpha_2^{new,unclipped}$的表达式：
$$\begin{align} \alpha_2^{new,unclipped} = \alpha_2^{old} + \frac {y_2(E_1-E_2)}{K_{11}+K_{22}-2K_{12}} \tag {9} \end{align}$$ 　

2. 由约束条件（$\ \alpha_1y_1+\alpha_2y_2 =\varsigma,0\leq \alpha_i \leq C \,\, i=1,2$）求出$\ \alpha_2$的可行域　　　

　　　上面求出的$\ \alpha_2^{new,unclipped}$没考虑到的约束条件为：

$$\begin{cases} 0\leq \alpha_{i=1,2}\leq C \\ \alpha_1y_1+\alpha_2y_2=\varsigma \end{cases}$$ 　　
　　　在二维平面上直观表达上述两个约束条件 ：
　　　
　　　
　　　根据式子 $\ \alpha_1y_1+\alpha_2y_2=\varsigma$，和 $\ y_1,y_2$只能取值 $\ +1或-1$，共有四种情况：
　　　
（1）当 $\ y_1=1,y_2=1$，此时的表达式为 $\ \alpha_1y_1+\alpha_2y_2=\varsigma$，那么对应上图中的右边情况。根据 $\ \varsigma$的不同取值，我们可以分为下面几种情况来求 $\ \alpha_2$的可行域：

1. $\ \varsigma<0$，因为$\ 0\leq \alpha_i \leq C$，所以此时$\ \alpha_1y_1+\alpha_2y_2=\varsigma$与方形区域一定没有任何交集，所以此时$\ \alpha_2$的可行域为空集.
2. $\ \varsigma=0$，此时$\ \alpha_1y_1+\alpha_2y_2=0$，此时与方形区域的交点就是(0,0)，那么可行域就是$\ \alpha_2=0$.
3. $\ 0\leq \varsigma\leq C$时，此时对应上图中右边的靠下的那种直线的情况，所以根据直线和方形区域的相交情况，此时可以求出$\ \alpha_2$的可行区间为$\ [0,\varsigma]$，即$\ [0,\alpha_1 + \alpha_2]$.
4. 当$\ C\leq \varsigma\leq 2C$时，可以求出此时对应上图右边情况靠上的那种直线，所以此时可以求出的可行区间为$\ [\varsigma-C,C]，即[\alpha_1 + \alpha_2-C,C]$
5. 当$\ \varsigma\geq 2C$时，可行域为空寂，且这种情况也不会发生。

综上所述，当$\ y_1=1且y_2=1$时，此时的$\ \alpha_2$可行域在存在的情况下（即不考虑$\ \varsigma<0、\varsigma\geq 2C$），其实可以这样表示它的区间：

$$\begin{align} [max(0,\alpha_1 + \alpha_2-C) , min(C,\alpha_1+ \alpha_2)] \notag \end{align}$$ 　
（2）当 $\ y_1=-1且y_2=-1$ 时，此时的表达式是 $\ \alpha_1+\alpha_2= -\varsigma$，那么首先此时的 $\ \varsigma \leq0$，此时的各种分类其情况和上面的（1）类似。

（3）当$\ y_1=1且y_2=-1$时，此时的表达式是$\ \alpha_1 - \alpha_2=\varsigma$，根据$\ \varsigma$的不同取值，我们可以分为下面几种情况来求$\ \alpha_2$的可行域：

1. $\ \varsigma >C 或者 \varsigma <-C$时，此时直线与方形区域没有交点，所以此时$\ \alpha_2$可行域为空集.
2. $\ 0< \varsigma \leq C$ 时，此时对应上面的左图中的靠下的那种直线的情况，此时可以计算出$\ \alpha_2 的可行域为 [0，C-\alpha_1+ \alpha_2]$ .
3. 当$\ -C \leq \varsigma \leq0$时，此时对应左图中靠上的那种直线的情况，此时可计算出$\ alpha_2的可行域为 [\alpha_2 - \alpha_1 , C]$

综上所述，$\ \alpha_2 的 可行域为 [max(0,\alpha_1 - \alpha_2) ,min(C,C-\alpha_2+ \alpha_2)]$

（4）当$\ y_1=-1且y_2=1$时，情况和（3）类似。

我们设$\ \alpha_2$的可行域为$\ \alpha_2 \in [L,H]$，结合上述（1）~（4）种情况，我们得出不同情况下$\ \alpha_2$可行域的边界值L、H：

1. $\ 当y_1 \neq y_2 时， L=max（0,\alpha_2^{old}-\alpha_1^{old}）；H=min(C,C+\alpha_2^{old} - \alpha_1^{old})$
2. $\ 当y_1 = y_2 时， L=max（0,\alpha_1^{old}+\alpha_2^{old}-C）；H=min(C,\alpha_2^{old} + \alpha_1^{old})$

3. 对$\ \alpha_2^{new,unclipped}$进行修剪　

　　　好了，目前为止我们手头上有一元二次函数$\ W(\alpha_2)$的极值点$\ \alpha_2^{new,unclipped}$，和$\ \alpha_2$的可行域的边界值L，H。
　　　下文根据$\ \alpha_2$的可行域和一元二次函数$\ W(\alpha_2)$的开口方向，讨论$\ W(\alpha_2)$在何处取得最小值，共分为3种情况：

（1）无论一元二次函数$\ W(\alpha_2)$的开口向上还是向下，只要极值点不在可行域内，该函数的最小值就在可行域的边界值取得，这种情况我们只需要比较$\ W(L)和W(H)$的大小，然后取小者就是函数的最小值。

（2）如果$\ W(\alpha_2)$的开口向上，且极值点在可行域内，则函数最小值为极值点。
　　　
（3）如果$\ W(\alpha_2)$的开口向下，该函数的最小值就在可行域的边界值取得，这种情况我们只需要比较$\ W(L)和W(H)$的大小，然后取小者就是函数的最小值。

　　　综合上述三种情况，就可以对$\ \alpha_2^{new,unclipped}$进行修剪了，最优解就可以记为$\ \alpha_2^{new}$：

$$\alpha_2^{new}= \begin{cases} H& \alpha_2^{new,unclipped}>H \\ \alpha_2^{new,unclipped}&L \leq \alpha_2^{new,unclipped} \leq H \\ L &\alpha_2^{new,unclipped}<L \end{cases}$$

4. 通过$\ \alpha_2^{new}$求解$\ \alpha_1^{new}$　

　　　由$\ \alpha_1^{old}y_1 + \alpha_2^{old}y_2 = \alpha_1^{new}y_1+ \alpha_2^{new}y_2 = \varsigma$得：

$$\begin{align} \alpha_1^{new} = \alpha_1^{old} + y_1y_2(\alpha_2^{old}- \alpha_2^{new}) \end{align}$$ 　

---

SMO算法两个变量的选择

1.第一个变量的选择

　　　第一个变量的选择称为外循环，首先遍历整个样本集，选择违反KKT条件的$\ \alpha_i$作为第一个变量，接着依据相关规则选择第二个变量(见下面分析),对这两个变量采用上述方法进行优化。当遍历完整个样本集后，遍历非边界样本集$\ (0 <\alpha_i <C)$中违反KKT的$\ \alpha_i$作为第一个变量，同样依据相关规则选择第二个变量，对此两个变量进行优化。当遍历完非边界样本集后，再次回到遍历整个样本集中寻找，即在整个样本集与非边界样本集上来回切换，寻找违反KKT条件的$\ \alpha_i$作为第一个变量。直到遍历整个样本集后，没有违反KKT条件$\ \alpha_i$，然后退出。
　　　边界上的样本对应的$\ \alpha_i=0$或者$\ \alpha_i=C$，在优化过程中很难变化。然而非边界样本$\ (0 <\alpha_i <C)$会随着对其他变量的优化会有大的变化。
　　　

2.第二个变量的选择

　　　SMO称第二个变量的选择过程为内循环，假设在外循环中找个第一个变量记为$\ \alpha_1$，第二个变量的选择希望能使$\ \alpha_2$有较大的变化，由于$\ \alpha_1$是依赖于$\ |E_1-E_2|$，当$\ E_1$为正时，那么选择最小的$\ E_i$作为$\ E_2$。如果$\ E_1$为负，选择最大$\ E_i$作为$\ E_2$，通常为每个样本的$\ E_i$保存在一个列表中，选择最大的$\ |E_1-E_2|$来近似最大化步长。
　　　
　　　有时按照上述的启发式选择第二个变量，不能够使得函数值有足够的下降，这时按下述步骤:

首先在非边界集上选择能够使函数值足够下降的样本作为第二个变量；
如果非边界集上没有，则在整个样本集上选择第二个变量；
如果整个样本集依然不存在，则重新选择第一个变量；

---

计算阈值$\ b^{new}$、差值$\ E_i$

　　　每完成对两个变量的优化后，要对b的值进行更新，因为b的值关系到预测值$\ g(x)$的计算，即关系到下次优化时$\ E_i$的计算。　

求解 $\ b^{new}$的4种情况　　

　　　1. 如果$\ 0 < \alpha_1^{new}<C$，由KKT条件$\ y_1(w^Tx_1+b)=1$，且$\ y_i^2=1$，得到$\ \sum\limits_{i=1}^m \alpha_iy_iK_{i1}+b=y_i$，所有有：

$$\begin{align} b_1^{new}=y_1-\sum\limits_{i=3}^m \alpha_iy_iK_{i1} - \alpha_1^{new}y_1K_{11} - \alpha_2^{new}y_2K_{21} \end{align}$$
将式子（6）代入上式子，得：
$$\begin{align} b_1^{new}=-E_1 - y_1K_{11}(\alpha_1^{new}-\alpha_1^{old})- y_2K_{21}(\alpha_2^{new}-\alpha_2^{old})+b^{old} \end{align}$$
　　　2. 如果 $\ 0 < \alpha_2^{new}<C$，则：
$$\begin{align} b_2^{new}=-E_2 - y_1K_{12}(\alpha_1^{new}-\alpha_1^{old})- y_2K_{22}(\alpha_2^{new}-\alpha_2^{old})+b^{old} \end{align}$$ 　　　
　　　3. 如果 $\ \alpha_1,\alpha_2$同时满足 $\ 0 < \alpha_{i}^{new}<C$，则：
$$\begin{align} b_1^{new}=b_2^{new} \end{align}$$ 　　　　
　　　4. 如果 $\ \alpha_1,\alpha_2$同时不满足 $\ 0 < \alpha_{1,2}^{new}<C$，那么 $\ b_1^{new}$和 $\ b_2^{new}$以及它们之间的数都是符合KKT条件的阈值，这时选择它们的中点作为 $\ b^{new}$

更新差值$\ E_i$　

　　　根据式子(4),(6），得到：

$$\begin{align} E_i=g(x_i)-y_i = \sum\limits_{j=1}^m \alpha_iy_j K(x,x_j)+b^{new} -y_i \end{align}$$ 　　　

---

SMO算法总结

　　　输入是m个样本$\ (x_1,y_1),(x_2,y_2),...,(x_m,y_m)$，其中$\ x$为$\ n$维特征向量。y为二元输出，值为+1或-1。精度e.
　　　输出值是近似解，向量$\ \alpha$.
　　　
　　　1) 取初值$\ \alpha^0=0 , k=0$，$\ \alpha$的上标表示迭代轮数，$\ k$ 表示当前迭代为第$\ k$ 轮.
　　　
　　　2) 按照上文的方法依次选取两个参数 $\ \alpha_1^k , \alpha_2^k$，求出新的$\ \alpha_2^{k+1,unclipped}$.

$$\begin{align} \alpha_2^{k+1,unclipped} = \alpha_2^{k} + \frac {y_2(E_1-E_2)}{K_{11}+K_{22}-2K_{12}} \notag \end{align}$$ 　
　　　
　　　3)求出 $\ \alpha_2$可行域的边界值 L，H：
$$L,H=\begin{cases} &当y_1 \neq y_2 时， L=max（0,\alpha_2^{k}-\alpha_1^{k}）；H=min(C,C+\alpha_2^{k} - \alpha_1^{k}) \\ &当y_1 = y_2 时， L=max（0,\alpha_1^{k}+\alpha_2^{k}-C）；H=min(C,\alpha_2^{k} + \alpha_1^{k}) \end{cases}$$

　　　3)对$\ \alpha_2^{k+1,unclipped}$进行修剪：

$$\alpha_2^{k+1}= \begin{cases} H& \alpha_2^{k+1,unclipped}>H \\ \alpha_2^{k+1,unclipped}&L \leq \alpha_2^{k+1,unclipped} \leq H \\ L &\alpha_2^{k+1,unclipped}<L \end{cases}$$ 　　　

　　　4)求出$\ \alpha_1^{k+1}$：

$$\begin{align} \alpha_1^{k+1} = \alpha_1^{k} + y_1y_2(\alpha_2^{k}- \alpha_2^{k+1}) \end{align}$$ 　

　　　5)按照上文的规则，求出$\ b^{k+1}$，并更新$\ E_i$：

$$\begin{align} E_i=g(x_i)-y_i = \sum\limits_{j=1}^m \alpha_iy_j K(x,x_j)+b^{k+1} -y_i \end{align}$$ 　　　
　　　6)转至步骤2)，进入下一轮优化。直到遍历整个样本集后，没有违反KKT条件 $\ \alpha_i$，然后退出算法。

　　　

参考资料

1.支持向量机原理(四)SMO算法原理
2.第三部分：SMO算法的个人理解
3.【机器学习详解】SMO算法剖析