《统计学习方法》笔记(十一)--SMO

原创 2015年07月09日 14:50:14

SMO(Sequential Minimal Optimization)序列最小最优化

是一种高效的实现SVM的方法,是一种启发式算法

目标仍然是解决凸二次规划的对偶问题。

通过解决多变量问题的子问题,即两个变量的二次规划,来解决对偶问题。这样做的好处是每一个子问题可以得到解析解而不是迭代的数值解,这样就可以提高计算速度。

SMO包含两个部分:求解两个变量二次规划的解析方法以及选择变量的启发式算法

1.求解析解

固定其他变量,以a1,a2为某一步的变量

对目标进行优化处理

2.变量选择

第一个变量的选择要选取违反KKT条件最严重的点进行优化,第二个变量选择变化足够大的那个,具体的说就是|E1-E2|最大的

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

统计学习方法笔记十一----终结篇

前言  历经整整50天完成了这一轮对李航博士的《统计学习方法》的学习。在此,要说一声抱歉,第十一章《条件随机场》没有给出介绍,第八章《提升方法》被覆盖之后,我也没有后续添加,如果后面有充足的时间,我会...

深度学习方法(十一):卷积神经网络结构变化——Google Inception V1-V4,Xception(depthwise convolution)

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群:433250724,欢迎对算法、机器学习技术感兴趣的同学加入。上一篇讲了深度学习方法(十...

统计学习方法笔记(三):K近邻法

一、基本概念 k近邻法(k nearest neighbor, k-NN)是一种基本的分类和回归方法,简单、直观。当用来分类时,给定一个训练集,对于新输入实例,找到最近的k个训练样例,然后根据训练样例...

统计学习方法读书笔记-knn

看李航老师统计学习方法时的笔记。其实书上写的已经非常易懂了,但是为了自己记忆,姑且写个笔记,个别地方是自己的理解,可能有偏差。    KNN是由Cover和Hort在1967年提出的分类和回归方法(监...

统计学习方法笔记(1)

统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习(statical machine learning)。 统计学习...

统计学习方法笔记(四)

朴素贝叶斯法: 前提:朴素贝叶斯法是建立在贝叶斯定理和特征条件独立假设的基础上的分类方法。      大致流程为:对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布:然后基...

《统计学习方法》笔记(2):感知机

为什么要使用“对偶”?因为对偶形式简化了迭代和计算过程。对比问题5和问题4中的算法推导,“对偶形式”的迭代式更加简明,迭代过程中只需要做简单的加减法即可,而无需像原始形式一样实时计算ηxiyi。

统计学习方法笔记(一)

之前都是手写笔记,但是由于习惯不好,笔记老是找不到,又有很多人推荐我写博客方便以后查看,所以这几天会将我之前的笔记,一点点的写到这里来,但是由于CSDN的博客设置不是很会用,会很粗糙哦。。。     ...

统计学习方法读书笔记-概论

李航统计学习概论学习笔记
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)