《统计学习方法》笔记(十一)--SMO

SMO(Sequential Minimal Optimization)序列最小最优化

是一种高效的实现SVM的方法,是一种启发式算法

目标仍然是解决凸二次规划的对偶问题。

通过解决多变量问题的子问题,即两个变量的二次规划,来解决对偶问题。这样做的好处是每一个子问题可以得到解析解而不是迭代的数值解,这样就可以提高计算速度。

SMO包含两个部分:求解两个变量二次规划的解析方法以及选择变量的启发式算法

1.求解析解

固定其他变量,以a1,a2为某一步的变量

对目标进行优化处理

2.变量选择

第一个变量的选择要选取违反KKT条件最严重的点进行优化,第二个变量选择变化足够大的那个,具体的说就是|E1-E2|最大的

阅读更多
上一篇《统计学习方法》笔记(十)--SVM(2)
下一篇《统计学习方法》笔记(十二)--Adaboost
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭