支持向量机SVM(5)——SMO算法

0.回顾

接上一篇博客支持向量机SVM(4)——核函数
回顾前面所讲的，我们现在的优化问题变成了：
$$\{\begin{array}{l}mi{n}_{\lambda }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_{j}K(x_i,x_j)-{\sum }_{i=1}^N{\lambda }_i\\ s.t.0\le {\lambda }_i\le C\\ {\sum }_{i=1}^N{\lambda }_i{y}_i=0，i=1,2,...,N\end{array}$$
同时满足KKT条件：

$$\{\begin{array}{l}{\lambda }_i(1-y_i(w^T{x}_i+b)-{\xi }_i)=0\\ {\lambda }_i\ge 0，u_i\ge 0\\ y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ {\xi }_i\ge 0\\ u_i{\xi }_i=0，i=1,2,...,N\end{array}$$
最优解的形式：
$$\{\begin{array}{l}b=y_j-{\sum }_{i=1}^N{\lambda }_i{y}_{i}K(x_i,x_j)\\ w={\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i\end{array}$$
现在只要求得${\lambda }_i(i=1,2,...,N)$就可以得到最终的超平面方程（因为求b需要带入支持向量，所以暂时不带入b的最优解表达式）：
$$f(x)=\sum _{i=1}^N{\lambda }_i{y}_{i}K(x,x_i)+b$$

---

上面优化问题的最优解${\lambda }_i$可以通过SMO（Sequential minimal optimization，序列最小化）算法求解，其基本思路是：如果所有变量的解都满足上面优化问题的KKT条件，那么这个问题的解就得到了，因为满足KKT条件是最优化问题的充分必要条件。
整个SMO算法分为两步：（1）求解两个变量二次规划的解析方法；（2）选择变量的启发式方法。

1.求解两个变量二次规划的解析方法

首先选择两个变量${\lambda }_1和{\lambda }_2$，并固定其他变量${\lambda }_i$不变，即当作常数处理，至于怎么选择${\lambda }_1和{\lambda }_2$在下一部分讲解。现在为了简化最优化问题的表达式，我们将包含变量${\lambda }_1和{\lambda }_2$的部分单独提出来：
$$\{\begin{array}{l}mi{n}_{{\lambda }_1,{\lambda }_2}\frac{1}{2}{\lambda }_1^2{K}_{11}+\frac{1}{2}{\lambda }_2^2{K}_{22}+y_1{y}_2{\lambda }_1{\lambda }_2{K}_{12}+y_1{\lambda }_1{\sum }_{i=3}^N{\lambda }_i{y}_i{K}_{i1}+y_2{\lambda }_2{\sum }_{i=3}^N{\lambda }_i{y}_i{K}_{i2}-{\lambda }_1-{\lambda }_2\\ s.t.{\lambda }_1{y}_1+{\lambda }_2{y}_2=-{\sum }_{i=3}^N{\lambda }_i{y}_i=c\\ 0\le {\lambda }_i\le C，i=1,2\end{array}$$
其中，$K_{ij}=K(x_i,x_j),i=1,2,...,N$，c是常数，并吧目标优化函数中包含了固定不变的$\lambda$常数部分省略掉。

令$v_j={\sum }_{i=3}^N{\lambda }_i{y}_i{K}_{ij}=f(x_j)-{\sum }_{i=1}^2{\lambda }_i{y}_i{K}_{ij}-b,(j=1,2)$，然后根据上面的第一个约束条件可得：
$${\lambda }_1=(c-{\lambda }_2{y}_2)y_1$$
将上式代入优化问题中，得：
$$W({\lambda }_2)=\frac{1}{2}(c-{\lambda }_2{y}_2{)}^2{K}_{11}+\frac{1}{2}{\lambda }_2^2{K}_{22}+y_2(c-{\lambda }_2{y}_2){\lambda }_2{K}_{12}+(c-{\lambda }_2{y}_2)v_1+y_2{\lambda }_2{v}_2-(c-{\lambda }_2{y}_2)y_1-{\lambda }_2$$
然后现在求解上面这个最优化问题我们直接对${\lambda }_2$求导并令其为0：
$$\begin{gathered} \frac{\partial W}{\partial {\lambda }_2}=({\lambda }_2-c{y}_2)K_{11}+{\lambda }_2{K}_{22}+(y_{2}c-2{\lambda }_2)K_{12}-y_2{v}_1+y_2{v}_2+y_1{y}_2-1=0 \\ \Rightarrow {\lambda }_2(K_{11}+K_{22}-2K_{12})=y_2(c{K}_{11}-c{K}_{12}+v_1-v_2+y_2-y_1) \\ \Rightarrow {\lambda }_2(K_{11}+K_{22}-2K_{12})=y_2(c{K}_{11}-c{K}_{12}+(f(x_1)-\sum _{i=1}^2{\lambda }_i{y}_i{K}_{i1}-b)-(f(x_2)-\sum _{i=1}^2{\lambda }_i{y}_i{K}_{i2}-b)+y_2-y_1) \end{gathered}$$

现在假设优化问题的初始解为${\lambda }_1^{old}，{\lambda }_2^{old}$，最优解为${\lambda }_1^{new}，{\lambda }_2^{new}$，然后将$c={\lambda }_1^{old}{y}_1+{\lambda }_2^{old}{y}_2$带入上式中，并令$E_i=f(x_i)-y_i$（表示预测值和真实值之间的误差）以及令$\eta =X_{11}+X_{22}-2X_{12}$，化简求解得到：
$${\lambda }_2^{new}={\lambda }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$$

因为优化问题对于${\lambda }_2$是有约束的，所以我们假设$L\le {\lambda }_2^{new}\le H$，然后根据${\lambda }_1^{old}{y}_1+{\lambda }_2^{old}{y}_2={\lambda }_1^{new}{y}_1+{\lambda }_2^{new}{y}_2=c$和$0\le {\lambda }_i\le C$这两个条件来求${\lambda }_2^{new}$的取值范围：
（1）当$y_1\ne y_2$时，因为y的取值是1或-1，所以我们可得：
$${\lambda }_1^{old}-{\lambda }_2^{old}=c，{\lambda }_1^{new}-{\lambda }_2^{new}=c⟺{\lambda }_2^{new}={\lambda }_1^{new}-c$$
当${\lambda }_1^{new}$取得最大值C时，同样${\lambda }_2^{new}$也取得最大值C-c；当${\lambda }_1^{new}$取得最小值0时，同样${\lambda }_2^{new}$也取得最小值-c，所以$-c\le {\lambda }_2^{new}\le C-c$，同时结合$0\le {\lambda }_2^{new}\le C$(取交集)：
$$L=max(0,{\lambda }_2^{old}-{\lambda }_1^{old})，H=min(C,C+{\lambda }_2^{old}-{\lambda }_1^{old})$$
（2）当$y_1=y_2$时，同理可得：
$$L=max(0,{\lambda }_1^{old}+{\lambda }_2^{old}-C)，H=min(C,{\lambda }_1^{old}+{\lambda }_2^{old})$$
所以当求得${\lambda }_2$后需要结合$L,H$进行相应的处理。

---

现在我们求出${\lambda }_2^{new}$之后，根据${\lambda }_1^{old}{y}_1+{\lambda }_2^{old}{y}_2={\lambda }_1^{new}{y}_1+{\lambda }_2^{new}{y}_2$，求出${\lambda }_1^{new}$：
$${\lambda }_1^{new}={\lambda }_1^{old}+({\lambda }_2^{old}-{\lambda }_2^{new})y_1{y}_2$$

2.选择变量的启发式方法

SMO算法在每个子问题中选择两个变量优化，其中至少一个变量是违反KKT条件得。

2.1第一个变量${\lambda }_1$的选择

SMO算法选择第一个变量的过程称为外层循环。基本思想是在训练样本中选取违反KKT条件最严重的样本点，并将其对应的变量作为第1个变量。违反KKT条件即是否满足KKT条件：
$$\{\begin{array}{l}{\lambda }_i=0\iff y_{i}f(x_i)\ge 1\\ 0<{\lambda }_i<C\iff y_{i}f(x_i)=1\\ {\lambda }_i=C\iff y_{i}f(x_i)\le 1\end{array}$$
其中$f(x)$是超平面方程。

整体流程：外层循环首先遍历所有满足条件$0<{\lambda }_i<C$的样本点，即在间隔边界上的支持向量点，检验他们是否满足KKT条件；如果这些样本点都满足KKT条件，那么遍历整个训练集，检验他们是否满足KKT条件。

2.2第二个变量${\lambda }_2$的选择

选择第2个变量的标准是希望能使${\lambda }_2$有足够大的变化，因为${\lambda }_2^{new}={\lambda }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }$，所以我们会选择$|E_1-E_2|$最大的${\lambda }_2$，即保证每次优化中采取最大步长。

在特殊情况下，如果内层循环通过上面方法找到的${\lambda }_2$不能使得目标函数有足够的下降，那么继续选择${\lambda }_2$，遍历在间隔边界上的支持向量点，一次将其作为${\lambda }_2$试用，只有目标函数有足够的下降。若找不到合适的${\lambda }_2$，那么遍历整个训练集；若仍然找不到则放弃第一个选择的${\lambda }_1$，重新通过外层循环选择另外的${\lambda }_1$。

---

---

需要注意的是：每次在计算完两个$\lambda$后都要更新超平面方程中的b：
当$0<{\lambda }_1^{new}<C$时由KKT条件可得$$\begin{gathered} \sum _{i=1}^N{\lambda }_i{y}_i{K}_{i1}+b=y_1 \\ \Rightarrow b_1^{new}=y_1-\sum _{i=3}^N{\lambda }_i{y}_i{K}_{i1}-{\lambda }_1^{new}{y}_1{K}_{11}-{\lambda }_2^{new}{y}_2{K}_{21} \end{gathered}$$
又因为由$E_1=f(x_1)-y_1={\sum }_{i=3}^N{\lambda }_i{y}_i{K}_{i1}+{\lambda }_1^{old}{y}_1{K}_{11}+{\lambda }_2^{old}{y}_2{K}_{21}+b^{old}-y_1$可得：
$$y_1-\sum _{i=3}^N{\lambda }_i{y}_i{K}_{i1}=-E_1+{\lambda }_1^{old}{y}_1{K}_{11}+{\lambda }_2^{old}{y}_2{K}_{21}+b^{old}$$
将上式代入b中可得：
$$b_1^{new}=b^{old}-E_1-y_1({\lambda }_1^{new}-{\lambda }_1^{old})K_{11}-y_2({\lambda }_2^{new}-{\lambda }_2^{old})K_{12}$$
同理可得，当$0<{\lambda }_2^{new}<C$时：
$$b_2^{new}=b^{old}-E_2-y_1({\lambda }_1^{new}-{\lambda }_1^{old})K_{12}-y_2({\lambda }_2^{new}-{\lambda }_2^{old})K_{22}$$

如果${\lambda }_1^{new},{\lambda }_2^{new}$同时满足$0<{\lambda }_i^{new}<C$，那么$b_1^{new}=b_2^{new}$；如果${\lambda }_1^{new},{\lambda }_2^{new}$为0或C，那么取$b_1^{new}，b_2^{new}$的中点作为更新的b。