SMO算法

SMO(序列最小优化)算法，由John Platt提出，给出了一种有效的解决由SVM导出的对偶问题的方法，让我们首先先介绍一下坐标上升算法。

坐标上升

考虑到解决非限制最优化问题：
$\underset{\alpha}{\mathrm{max}}W(\alpha_1,\alpha_2,...,\alpha_m)$
现在，我们认为W仅仅是以$\alpha_i$为参数的函数，现在开始忽略所有这个问题与SVM之间的关系。我们现在已经见到两个最优化算法，梯度下降法和牛顿算法。我们要学习的新算法叫做坐标上升:

在最内层循环中，我们要保持除了一些$\alpha_i$所有的变量不变，然后重新最小化W对应于参数$\alpha_i$，在这里我们更新的顺序为$\alpha_1,\alpha_2,....,\alpha_m,\alpha_1,\alpha_2,....$,这里有一个描述这个过程的图片：

图中的椭圆是我们想要最优化的二次方程的等高线。坐标上升被初始化为（-2，-2），并且在图中也画出了它到全局最大化的路径。注意到，坐标上升的每步都是平行于一条坐标轴，原因是我们一次只优化一个变量。

SMO

现在我们来推导SMO算法。这里是我们要解决的对偶问题：

如果$\alpha_i`s$满足约束条件18-19。现在我们假设保持$\alpha_2,...,\alpha_m$不变，然后按照上面的方法调整 α