关闭

《统计学习方法》笔记(十一)--SMO

149人阅读 评论(0) 收藏 举报

SMO(Sequential Minimal Optimization)序列最小最优化

是一种高效的实现SVM的方法,是一种启发式算法

目标仍然是解决凸二次规划的对偶问题。

通过解决多变量问题的子问题,即两个变量的二次规划,来解决对偶问题。这样做的好处是每一个子问题可以得到解析解而不是迭代的数值解,这样就可以提高计算速度。

SMO包含两个部分:求解两个变量二次规划的解析方法以及选择变量的启发式算法

1.求解析解

固定其他变量,以a1,a2为某一步的变量

对目标进行优化处理

2.变量选择

第一个变量的选择要选取违反KKT条件最严重的点进行优化,第二个变量选择变化足够大的那个,具体的说就是|E1-E2|最大的

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:2741次
    • 积分:171
    • 等级:
    • 排名:千里之外
    • 原创:15篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档