SVM：通俗易懂的SMO算法

前言

SVM算法中目标函数最终是一个关于$a$向量的函数。本文将通过SMO算法来极小化这个函数。

SMO算法

首先我们再写一下带核函数的优化目标：
$$\begin{gathered} \underset{a}{\underbrace{min}}\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^m{a}_i \\ s.t\sum _{i=1}^m{a}_i=0 \\ 0\le a_i\le C \end{gathered}$$
SMO算法则采用了一种启发式的方法。它每次只优化两个变量，将其他的变量都视为常数。由于${\sum }_{i=1}^m{a}_i=0$.假如将$a_3,a_4,...,a_m$固定，那么$a_1$，$a_2$之间的关系也确定了。这样SMO算法将一个复杂的优化算法转化为一个比较简单的两变量优化问题。为了后面表示方便，定义：$K_{ij}=\varphi (x_i)\cdot \varphi (x_j)$

所以假设我们选择了两个变量：$a_1,a_2$来作为第一个选择的变量来迭代更新，当然怎么选择也有有原因的，这个后面会讲解。于是其他变量都是常量，那么公式就变为：
$$\begin{gathered} \underset{a_i,a_j}{\underbrace{min}}{a}_1{a}_2{y}_1{y}_2{K}_{12}+\frac{1}{2}{a}_1^2{K}_{11}+\frac{1}{2}{a}_2^2{K}_{22}+\frac{1}{2}{a}_1{y}_1\sum _{j=3}^m{a}_j{y}_j{K}_{1,j}+\frac{1}{2}{a}_2{y}_2\sum _{j=3}^m{a}_j{y}_j{K}_{2,j}-a_1-a_2-\sum _{j=3}^m{a}_j \\ s.t{a}_1{y}_1+a_2{y}_2=-\sum _{i=3}^m{a}_i=\epsilon \\ 0\le a_i\le C，i=1,2 \end{gathered}$$
因为$a_1{y}_1+a_2{y}_2=\epsilon$，所以得到：$a_1=\epsilon y_1-a_2{y}_2{y}_1$，把$a_1$代入上式，并且为来简单描述，我们必须还用到一些变量来替换公式中的某一类变量：
$$\begin{gathered} g(x)=w\varphi (x_i)+b=\sum _{j=1}^m{a}_j{y}_{j}K(x,x_j)+b \\ {v}_i=\sum _{j=3}^m{a}_j{y}_j{K}_{ij}=g(x)-\sum _{j=1}^2{a}_j{y}_j{K}_{ij}-b=g(x)-a_1{y}_1{K}_{i1}-a_2{y}_2{K}_{i2}-b \end{gathered}$$

这样$a_1$、$v_1$、$v_2$代入上式，得到$W(a_1,a_2)$：
$$W(a_1,a_2)=(\epsilon y_1-a_2{y}_2{y}_1)a_2{y}_1{y}_2{K}_{12}+\frac{1}{2}(\epsilon y_1-a_2{y}_2{y}_1{)}^2{K}_{11}+\frac{1}{2}{a}_2^2{K}_{22}+\frac{1}{2}(\epsilon y_1-a_2{y}_2{y}_1)y_1{v}_1+\frac{1}{2}{a}_2{y}_2{v}_2-(\epsilon y_1-a_2{y}_2{y}_1)-a_2-\sum _{j=3}^m{a}_j$$
现在$W(a_1,a_2)$公式中只有一个变量$a_2$，求最小值，于是，我们求导：
$$\frac{\partial W}{\partial a_2}=K_{11}{a}_2+K_{12}{a}_2-2K_{12}{a}_2-K_{11}\epsilon y_2+K_{12}\epsilon y_2+y_1{y}_2-1-v_1{y}_2+y_2{v}_2$$
让$\frac{\partial W}{\partial a_2}=0$，得到：
$$a_2=\frac{y_2(y_2-y_1+K_{11}\epsilon -K_{12}\epsilon +v_1-v_2)}{K_{11}+K_{22}+2K_{12}}$$

这样似乎也算是完事了，但变换一下似乎更好一些，于是，提出一个假设变量$E_i$：
$$E_i=g(x_i)-y_i=\sum _{j=1}^m{a}_j{y}_{j}K(x_i,x_j)+b-y_i$$

将变量$E_i$以及$a_1{y}_1+a_2{y}_2=\epsilon$代入公式中，有了如下的变换结果：
$$(K_{11}+K_{22}+2K_{12})a_2=(K_{11}+K_{22}+2K_{12})a_2^{old}+y_2(E_1-E_2)$$
于是$a_2^{new,unc}$：
$$a_2^{new,unc}=a_2^{old}+\frac{y_2(E_1-E_2)}{K_{11}+K_{22}+2K_{12}}$$

$a_2^{new,unc}$及L和H的定义

$a_2^{new,unc}$的值并不是最终的更新函数值，因为由于$a_1$、$a_2$的关系被限制在盒子里的一条线段上，所以两变量的优化问题实际上仅仅是一个变量的优化问题。不妨我们假设最终是$a_2$的优化问题。由于我们采用的是启发式的迭代法，假设我们上一轮迭代得到的解是$a_1^{old}$、$a_2^{old}$，假设沿着约束方向$a_2$未经剪辑的解是$a_2^{new,unc}$，本轮迭代完成后的解为$a_1^{new}$、$a_2^{new}$，$a_2^{new}$必须满足上图中的线段约束：

首先 L 的定义是$a_2$的下限：图中红线处(0,-k)点出表示$a_2$的红线处的最小值，于是$L=-k$，因为$a_1-a_2=k$，$-k=a_2-a_1$，所以$L=-k=a_2-a_1$，
同理对于H，图中黑线(C,C-k)，所以$H=C-k$，由于$a_1-a_2=k$，所以$H=C-k=C-a_1+a_2$
同时是由于在迭代过程中更新，所以换成上一轮的值：$L=a_2^{old}-a_1^{old}$、$H=C-k=C-a_1^{old}+a_2^{old}$。综合这两种情况，最终得到：

$$\begin{gathered} L=max(0,a_2^{old}-a_1^{old}) \\ H=min(C,C-a_1^{old}+a_2^{old}) \end{gathered}$$

L相关的值在红色线上的点(C,k-C)，和黑色线的点(k,0)，所以：
$$L=max(0,a_1^{old}+a_2^{old}-C)$$
H相关的值在红色线的点(k-C,C)和黑色线的点(0,k)，所以：
$$H=min(C,a_1^{old}+a_2^{old})$$

这其实就是限制了$a_i$的范围，所以选取了两个变量更新之后，某个变量的值更新都满足这些条件，假设求导得到$a_2^{new,unc}$，于是得到了：
$$a_2^{new}=\{\begin{array}{ll}H& a_2^{new,unc}>H\\ a_2^{new,unc}& L<a_2^{new,unc}<H\\ L& a_2^{new,unc}<L\end{array}$$
其中

更新b向量

得到$a_1^{new}$和$a_2^{new}$之后，我们可以来计算$b$，我们先用$a_1^{new}$来得到最新的$b^{new}$，当$0<a_i^{new}\le C$时，
$$y_1-\sum _{i=1}^m{a}_i{y}_i{K}_{i1}-b_1=0$$
转换后得到：
$$b_1=y_1-\sum _{i=3}^m{a}_i{y}_i{K}_{i1}-a_1^{new}{y}_1{K}_{11}-a_2^{new}{y}_2{K}_{21}$$
同时由于$E_1=g(x_1)-y_1={\sum }_{j=1}^m{a}_j{y}_{j}K(x_i,x_j)+b-y_i={\sum }_{j=3}^m{a}_j{y}_j{K}_{j1}+a_1^{old}{y}_1{K}_{11}+a_2^{old}{y}_2{K}_{21}+b^{old}-y_1$，替代上述得到更新后的$b_1^{new}$：
$$b_1^{new}=-E_1-y_1{K}_{11}(a_1^{new}-a_1^{old})-y_2{K}_{21}(a_2^{new}-a_2^{old})+b^{old}$$
同理可以得到$b_2^{new}$：
$$b_2^{new}=-E_2-y_1{K}_{12}(a_1^{new}-a_1^{old})-y_2{K}_{22}(a_2^{new}-a_2^{old})+b^{old}$$
那么问题来了，有两个$b$，这怎么弄？

$$b^{new}=\{\begin{array}{ll}\frac{b_1^{new}+b_2^{new}}{2}& a_2对应的点是支持向量\\ b_1^{new}& a_2对应的点不是支持向量\end{array}$$
为什么这么选择？

具体情况参考李航书130页，选择$b^{new}=(b_1+b_2)/2$这只是一个工程上的选择而已，因为没有一个确定的b，得到了$b^{new}$之后利用其来更新$E_i$，公式上述其实有提供，这里再明确一下：
$$E_i^{new}=\sum _S{y}_j{a}_{j}K(x_i,x_j)+b^{new}-y_i$$
这里的$S$是所有的支持向量$x_i$的集合，这里每一个样本$x_i$都对应一个$E_i$，利用$b^{new}$和$E_i^{new}$迭代更新。这里的E跟更新$a_i$的表达式场景不同，E1是用于某次迭代中，SMO选中的$a$对应的计算过程的，而$E_i$是迭代完毕后，尝试优化更新所有的$E_i$值的时候。如果只是计算，都是用的这个公式。为什么不用所有支持向量，因为不是支持向量的样本，其𝛼值为0，就算放在式子里面也是0，所以可以去掉。

• 为什么求解$b^{new}$用$E^1$表示？
  用E1表示，是为了求出最终的bnew, 并求出Ei。

如何选择两个变量

• 1、外层变量
  　　SMO算法称选择第一个变量为外层循环，这个变量需要选择在训练集中违反KKT条件最严重的样本点。对于每个样本点，解要满足的KKT条件的对偶互补条件：$a_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0$
  　　KKT条件我们在第一节已经讲到了：
  $$\begin{gathered} a_i=0\Rightarrow y_{i}g(x_i)\ge 0 \\ 0<a_i<C\Rightarrow y_{i}g(x_i)=1 \\ {a}_i=C\Rightarrow y_{i}g(x_i)\le 1 \end{gathered}$$
  这三个KKT条件，那么一般我们取违反$0<a_i<C\Rightarrow y_{i}g(x_i)=1$最严重的点，如果没有，再选择其他$a_i=0$、$a_i=C$的条件。
• 2、内层变量
  SMO算法称选择第二一个变量为内层循环，假设我们在外层循环已经找到了$a_1$， 第二个变量$a_2$的选择标准是让$|E_1-E_2|$有足够大的变化。由于$a_1$定了的时候，$E_1$也确定了，所以要想$|E_1-E_2|$最大，只需要在$E_1$为正时，选择最小的$E_i$作为$E_2$， 在$E_1$为负时，选择最大的$E_i$作为$E_2$，可以将所有的$E_i$保存下来加快迭代。如果内存循环找到的点不能让目标函数有足够的下降， 可以采用以下步骤：
  （1）遍历支持向量点来做 $a_2$ , 直到目标函数有足够的下降；
  （2）如果所有的支持向量做 $a_2$ 都不能让目标函数有足够的下降，可以在整个样本集上选择 $a_2$；
  （3）如果整个样本集依然不存在，则跳回外层循环重新选择 $a_1$。

这其中的$E_i$也在上面的更新$a_i$、$b$的代码里有提到，这里不详细介绍，大家参考博客来详细了解。

问题

• 为什么每次更新Ei时只用支持向量的样本？在上面优化的时候例如E1使用的是全部的样本。Ei= g(xi)-yi=wx+b-y不是这个公式吗？
  这里两个E的表达式场景不同，E1是用于某次迭代中，SMO选中的$a$对应的计算过程的，而$E_i$是迭代完毕后，尝试优化更新所有的$E_i$值的时候。如果只是计算，都是你说的那个公式。回顾一下，w与αi,xi,yi的关系式为:

w = ∑ αiyixi ，其中i = 1,2,3,…,N
我们初始化的α是一个全为0的向量，即α1=α2=α3=…=αN=0，w的值即为0.我们进行SMO算法时，每轮挑选出两个变量αi，固定其他的α值，也就是说，那些从来没有被挑选出来过的α，值始终为0，而根据前面所学，支持向量对应的αi是一定满足 0<αi<=C的.有了这个认识之后，为什么不用全集呢，因为不是支持向量的样本点，对应的αi值为0啊，加起来也没有意义，对w产生不了影响，只有支持向量对应的点 (xi,yi)与对应的αi相乘，产生的值才对w有影响啊。从这里也能理解，为什么李航书中，认为支持向量不仅仅是处于间隔边界上的点，还包括那些处于间隔边界和分类超平面之间、分类超平面之上、分类超平面错误的一侧处的点了，因为后面所说的那些点，对应的αi为C，对w的计算可以起到影响作用，换句话说，就是能对w起到影响作用的点，都属于支持向量!

• 关于惩罚项C
  C是一个超参数，需要调参的。后面我有一篇文章专门讲到了C这个参数的调参。支持向量机高斯核调参小结： https://www.cnblogs.com/pinard/p/6126077.html选择两个变量的流程参见我4.1节和4.2节。最开始所有样本的alpha都是初始化为0的，后面按4.1节和4.2节的流程每轮选择2个样本的alpha进行迭代。

参考博客

支持向量机原理(四)SMO算法原理
知乎
线性支持向量机中KKT条件的讨论