《统计学习方法》笔记(十一)--SMO

原创 2015年07月09日 14:50:14

SMO(Sequential Minimal Optimization)序列最小最优化

是一种高效的实现SVM的方法,是一种启发式算法

目标仍然是解决凸二次规划的对偶问题。

通过解决多变量问题的子问题,即两个变量的二次规划,来解决对偶问题。这样做的好处是每一个子问题可以得到解析解而不是迭代的数值解,这样就可以提高计算速度。

SMO包含两个部分:求解两个变量二次规划的解析方法以及选择变量的启发式算法

1.求解析解

固定其他变量,以a1,a2为某一步的变量

对目标进行优化处理

2.变量选择

第一个变量的选择要选取违反KKT条件最严重的点进行优化,第二个变量选择变化足够大的那个,具体的说就是|E1-E2|最大的

统计学习方法笔记十一----终结篇

前言  历经整整50天完成了这一轮对李航博士的《统计学习方法》的学习。在此,要说一声抱歉,第十一章《条件随机场》没有给出介绍,第八章《提升方法》被覆盖之后,我也没有后续添加,如果后面有充足的时间,我会...

深度学习方法(十一):卷积神经网络结构变化——Google Inception V1-V4,Xception(depthwise convolution)

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群:433250724,欢迎对算法、机器学习技术感兴趣的同学加入。上一篇讲了深度学习方法(十...

《统计学习方法》-朴素贝叶斯法笔记和python源码

朴素贝叶斯法 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后...

统计学习方法笔记(二)感知机

感知机于1957年由Rosenblatt提出,是一种线性分类模型,属于判别模型,直接学习判别函数,是神经网络和支持向量机的基础。 对于感知机的学习推导首先要知道他的模型是什么,然后是学习策略(损失函...

统计学习方法读书笔记-knn

看李航老师统计学习方法时的笔记。其实书上写的已经非常易懂了,但是为了自己记忆,姑且写个笔记,个别地方是自己的理解,可能有偏差。    KNN是由Cover和Hort在1967年提出的分类和回归方法(监...

统计学习方法读书笔记-概论

李航统计学习概论学习笔记

《统计学习方法》笔记(5):决策树

决策树是一种基本的分类与回归方法,可以将其理解为一连串的if-then规则集合。构建一棵决策树一般要经过三个步骤:特征参量的选择、决策树的生成以及决策树的剪枝。主要的决策树算法有ID3、C4.5和CA...

统计学习方法阅读笔记:k近邻法

k近邻法由Cover和Hart在1968年提出,是一种基本的分类与回归方法。k近邻法的输入是实例的特征向量,对应于特征空间中的点,输出为实例的类别,可取多值(此前介绍的感知机模型只是线性二类分类模型)...

统计学习方法笔记(1)

统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习(statical machine learning)。 统计学习...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:《统计学习方法》笔记(十一)--SMO
举报原因:
原因补充:

(最多只允许输入30个字)