SMO算法总结

1.概述

SMO（Sequentil Minimal Optimization）算法在支持向量机中用来求解对偶问题，即
$min\space {1\over2}\sum_{i=1}^{N}\sum_{j=1}^{N}\alpha _i\alpha _ jy_iy_jK(x_i, x_j)-\sum_{i=1}^N\alpha_i$
$s.t. \sum\alpha_iy_i = 0$
$0\leqslant\alpha_iyi \leqslant C$
在这个问题中，变量是拉格朗日乘子$\alpha$，一个$\alpha_i$对应一个样本点$(x_i,y_i)$，变量总数等于样本数量N。
SMO算法是一个启发式的算法，它的基本思路是：如果所有变量的解都满足KKT条件，即：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪