《统计学习方法》笔记(十一)--SMO

原创 2015年07月09日 14:50:14

SMO(Sequential Minimal Optimization)序列最小最优化

是一种高效的实现SVM的方法,是一种启发式算法

目标仍然是解决凸二次规划的对偶问题。

通过解决多变量问题的子问题,即两个变量的二次规划,来解决对偶问题。这样做的好处是每一个子问题可以得到解析解而不是迭代的数值解,这样就可以提高计算速度。

SMO包含两个部分:求解两个变量二次规划的解析方法以及选择变量的启发式算法

1.求解析解

固定其他变量,以a1,a2为某一步的变量

对目标进行优化处理

2.变量选择

第一个变量的选择要选取违反KKT条件最严重的点进行优化,第二个变量选择变化足够大的那个,具体的说就是|E1-E2|最大的

统计学习方法-李航(笔记整理)一

1、特点 统计学习以数据为研究对象(数据驱动),以方法为中心,目的是为了对数据进行预测与分析。 2、方法 统计学习包括监督学习,非监督学习,半监督学习,强化学习。(以监督学习为主进行介绍) 统计学习的...
  • yimiaomochu
  • yimiaomochu
  • 2017年02月20日 17:00
  • 1333

统计学习方法:基于SMO算法的SVM的Python实现

统计学习方法:基于SMO算法的SVM的Python实现 前言: 在阅读本篇文章之前,希望您已经读过李航老师的《统计学习方法》中的第七章——支持向量机,本文实现SVM的算法使用序列最小 最优化算法(...
  • cassiePython
  • cassiePython
  • 2017年07月19日 14:55
  • 492

李航·《统计学习方法》学习笔记

第一章 统计学习的方法概论 1 统计学习概述统计学习的过程 统计学习的分类 监督学习的分类 1 生成方法与判别模方法 11 生成方法 11 判别方法 2 分类问题标注问题和回归问题 21 分类问题 2...
  • promisejia
  • promisejia
  • 2017年12月03日 15:12
  • 108

李航-统计学习方法学习笔记-第一章

统计学习方法李航 统计学习方法的三要素: (1)模型 (2)策略 (3)算法 实现统计学习的步骤: (1)得到用来训练模型和测试模型的数据集(输入和输出(实际值)+需要进行预测的输...
  • hdu_lazy_man
  • hdu_lazy_man
  • 2017年03月14日 19:26
  • 875

统计学习方法笔记(一)

之前都是手写笔记,但是由于习惯不好,笔记老是找不到,又有很多人推荐我写博客方便以后查看,所以这几天会将我之前的笔记,一点点的写到这里来,但是由于CSDN的博客设置不是很会用,会很粗糙哦。。。     ...
  • zuxiaodon
  • zuxiaodon
  • 2016年07月18日 13:10
  • 695

《统计学习方法》-朴素贝叶斯法笔记和python源码

朴素贝叶斯法 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后...
  • V_victor
  • V_victor
  • 2016年05月05日 10:11
  • 1136

《统计学习方法》-KNN笔记和python源码

K近邻法 K近邻法(k-nearest neighbor,k-NN)是一种基本分类与回归方法。 k近邻法实际上利用训练数据集对特征向量空间经行划分,并作为其分类的“模型”。 1.算法: 输入:训练数据...
  • V_victor
  • V_victor
  • 2016年04月12日 12:19
  • 760

《统计学习方法》学习笔记

最近把李航的《统计学习方法》看完了,感觉很不错,从概论到各个统计方法,由易到难层层推进,每个方法都有详尽的数学公式推倒,感觉很适合有一定数学功底的人作为机器学习入门来看。可惜本人自幼愚钝,资质欠佳,以...
  • qwsqwa
  • qwsqwa
  • 2015年01月18日 15:59
  • 652

《统计学习方法》笔记(5):决策树

决策树是一种基本的分类与回归方法,可以将其理解为一连串的if-then规则集合。构建一棵决策树一般要经过三个步骤:特征参量的选择、决策树的生成以及决策树的剪枝。主要的决策树算法有ID3、C4.5和CA...
  • elecjack
  • elecjack
  • 2016年04月04日 16:20
  • 811

《统计学习方法,李航》:7、支持向量机support vector machine(1)

0)基础知识——线性可分支持向量机定义;函数间隔和集合间隔定义 1)线性硬间隔支持向量机 2)凸二次规划最优解求法——对偶方法 3)线性硬间隔支持向量机学习算法及简单实例 4)线性软间隔支持向量机...
  • mmc2015
  • mmc2015
  • 2015年01月21日 20:36
  • 2271
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:《统计学习方法》笔记(十一)--SMO
举报原因:
原因补充:

(最多只允许输入30个字)