ML10自学笔记-SMO算法求解SVM

应用SMO算法求解支持向量机

因为要解出n个α参数，算法复杂度大，所以有人提出了SMO算法，进行每两个参数两个参数的求。

下面说明了为什么不每次只求一个α参数。因为有约束条件在。所以每次计算两个α参数，将函数看成只关于α₁和α₂相关的。其他的看成常数项。

因为想到求一个参数比较容易所以想办法将一个参数用另外一个表示出来。将式子转化成只含有一个α。

对式子求偏导得出α₂的解，然后带回得到α₁的解
将①带入②，将③带入化简好的式子。得到新值和旧值的差值（旧值初始就是初始化的值0）。可以直接将最后一个式子拿来用。

右边两个约束条件，第一个是在取值在框内，第二个是取值在线上（灰色线），将α₁和α₂看作两个变量，当y₁和y₂不相等时，即一个-1一个1，那么就相当于α₁-α₂=k；当y₁和y₂等时，那么就相当于α₁+α₂=k。L是最大值，H是最小值。

下面就是用代码实现。