SMO算法详解

SMO要解决的问题是什么？

经过漫长的探索，我们建立了SVM模型，但是这个模型中还剩下一个未知参数需要求解，SMO就是求解这个参数的一种高效的方法。

我们需要解决的终极问题是：
$$\underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j⟨x_i^T{x}_j⟩$$

$$s.t.0\le {\alpha }_i\le Ci=1,....,n$$

$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$

我们做一个简单的变形，上述问题等价于：
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j⟨x_i^T{x}_j⟩-\sum _{i=1}^n{\alpha }_i$$

$$s.t.0\le {\alpha }_i\le Ci=1,...,n$$

$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$

这就是我们要最终想要解决的问题，后面所有的努力，都是为了寻找一个满足约束条件的
$$\alpha =[{\alpha }_1,...,{\alpha }_n]$$

让我的目标函数最小。

SMO解决问题的思路是什么？

作为一个普通人，看到这个问题，实在是太复杂了，因为$\alpha$其实并不是一个变量，而是n个，而且这个n个之间还互相有约束，实在让人费解。

我们不妨回到问题的开始，求解$\alpha$的目的何在？
当然是为了求$w$和$b$,这样我的最优超平面就求出来了，SVM模型也最终完整的建立起来了！

我们现在假设已经找到了这样的$\alpha$
那我的$w$和$b$也就随之确定。

那我的最优分离超平面也就确定了：

$$f(x_i)=wx+b$$

求出的这个最优分离超平面和$\alpha$又有什么关系呢？

既然现在得到的是最优的分离超平面，那就应该满足当初求解过程中的一系列约束条件，也就是肯定满足KKT条件。

根据KKT条件，可以得到如下关系。若对此有疑问可以参考另一篇文章，拉格朗日对偶和KKT条件详解。
$$y_{i}f(x_i)=\{\begin{array}{ll}\ge 1& {\alpha }_i=0\Rightarrow x_i\text{在边界内,正确分类}\\ =1& 0<{\alpha }_i<C\Rightarrow x_i\text{在边界上，是支持向量}\\ \le 1& {\alpha }_i=C\Rightarrow x_i\text{在两条边界之间}\end{array}$$

反过来想我们求解出来的${\alpha }_i$和对应的$x_i$也必须满足这样的关系式才是正确的。
我们在求解$\alpha$的过程中也必须要朝着这样的目标去思考。

同时求解的过程中$\alpha$也必须满足它的初始的限制条件：

$$\sum _{i=1}^n{y}_i{\alpha }_i=0$$

$$0\le {\alpha }_i\le C,i=1,...,n$$

现在我们的思路就非常清晰了！

我们可以初始化一个$\alpha$然后不断的优化，直到满足上述条件，这里我们把这个条件暂且称为目标条件。

现在的问题在于我们如何具体优化$\alpha$呢？

$\alpha =[{\alpha }_1,...,{\alpha }_n]$这里有n个$\alpha$

1.我每次该选择几个$\alpha$来进行优化呢？

最简单的思考，我们选择1个来进行优化。

但是不要忘了我们的约束条件：${\sum }_{i=1}^n{\alpha }_i{y}_i=0$

如果我们只选择一个,假设选择${\alpha }_1$来进行优化,此时剩余的$\alpha$被视为是确定的常数。

由于约束条件，所以：${\alpha }_1{y}_1=-{\sum }_{i=2}^n{\alpha }_i{y}_i$

这样根本就没有优化的必要了啊，等式左边的值是确定的，右边的值也确定了。

所以，我们每次选择两个$\alpha$来进行优化，把剩余的$\alpha$被视为是确定的常数，就可以避免上述问题！此时这两个$\alpha$满足下列的关系式：

$${\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^n{\alpha }_i{y}_i=\zeta$$

现在我每次优化的对象就只有两个变量啊，这样一来问题简单了很多。

现在更神奇的事情是，${\alpha }_1$和${\alpha }_2$满足一个等式，我完全可以再简化一点啊，用其中的一个变量来表示另外一个。

$${\alpha }_1=\frac{\zeta -{\alpha }_2{y}_2}{y_1}$$

因为y的取值只能是+1和-1,上式可以写成：

$${\alpha }_1=(\zeta -{\alpha }_2{y}_2)y_1$$

现在有没有一种柳暗花明的感觉？只要我找到一个${\alpha }_2$进行优化，并且求出优化后的值，那我的${\alpha }_1$也就随之进行了优化。

2.我开始的时候该选择哪个$\alpha$作为我的${\alpha }_2$来进行优化呢？

这时候又思考，我们为什么要优化$\alpha$？
是因为我们想让它满足上述的目标条件。
那开始肯定大多$\alpha$都不满足。

很明显了，从效果上的考虑，我应该优先选择那些违反目标条件最多的，最不满足目标条件的$\alpha$来进行优化！

同时，我们还可以从另一个角度来考虑。

我们希望优化后的$\alpha$都能满足目标条件，但是优化几次才能满足目标条件呢？当然是想尽可能少的次数就让它满足目标条件！

因此我希望挑选出来的${\alpha }_2$每一次优化后，它不满足目标条件的程度应该尽可能减少，自身应该有更多的改变！

有没有一个具体的标准来衡量这种改变呢？

这里直接给出标准，暂不讨论为什么。

我们定义一个误差：

$$E_i=f(x_i)-y_i$$

我们发现：

$$|E_1-E_2|$$

越大，优化后的$\alpha$改变就越大。

现在又有一个问题，我如何保证优化后的$\alpha$就一定是朝着不满足目标条件的程度能减少的方向发展呢？有什么方法可以来判断我的方向正确性呢？

我们现在把目光放在最开始的目标，我们做的一切的一切都是为了最开始的那个目标！

$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j⟨x_i^T{x}_j⟩-\sum _{i=1}^n{\alpha }_i$$

$$s.t.0\le {\alpha }_i\le Ci=1,...,n$$

$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$

目标是求最小值！

那现在虽然我不知道怎样优化α1、α2，让它们对应的样本违反g(x)目标条件变轻，但是我可以让它们优化后目标函数的值变小啊！使目标函数变小，肯定是朝着正确的方向优化！也就肯定是朝着使违反g(x)目标条件变轻的方向优化，二者是一致的！！

那现在，我们把${\alpha }_1$和${\alpha }_2$看作变量，其余都看作常数。

把上面的式子展开，发现其实是一个的二次函数优化问题。

$$\underset{{\alpha }_1{\alpha }_2}{\min }W({\alpha }_1{\alpha }_2)=m{\alpha }_1^2+n{\alpha }_2^2+k{\alpha }_1{\alpha }_2+q{\alpha }_1+p{\alpha }_2$$

其中：

$$y_1{\alpha }_1+y_2{\alpha }_2=\zeta$$

$$0\le {\alpha }_1\le C,0\le {\alpha }_2\le C$$

那解这个问题就很简单了，通过等式
$${\alpha }_1=(\zeta -{\alpha }_2{y}_2)y_1$$

可以进一步的把上述问题化简为一个只关于