SVM支持向量机四(SMO算法)

原创 2013年12月02日 16:59:29

SVM支持向量机四-SMO(Sequential minimal optimization)算法


SMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Training Support Vector Machines》了。

本章将讲到:
 1. alphas的更新(要找违背KKT条件的更新哈)
 2. b的更新

----------------------------------------------------------

 1. alphas的更新(要找违背KKT条件的更新哈)

首先让我们回顾一下SVM二留下的问题:


要解决的是在参数{a1,a2,.....,am}上求最大值W的问题,至于x和y都是已知数。C由我们预先设定,也是已知数.按照坐标上升的思路,我们首先固定除a1以外的所有参数,然后在a1上求极值。等一下,这个思路有问题,因为如果固定a1以外的所有参数,那么a1将不再是变量(可以由其他值推出),因为问题中规定了
常数
因此,我们需要一次选取两个参数做优化,比如a1和a2(之前要判断是否违背了KKT条件,只要有一个违背了就可以选择更新),此时a1可以由a2和其他参数表示出来。这样回带到W中,W就只是关于a2的函数了,可解。并且a1,a2满足:而且还有约束条件 每个 0 <= alpha <= C ,也就是说没更新一次之后要保证这个约束条件




从而得到a2条件下的局部最大值
看下图所示推导公式:






 2. b的更新


说明我这个是借鉴了一个网友的博客:

支持向量机(五)SMO算法

写的很好,而我这章重点把大家关心的问题就是结论以及限制条件的重点整理了一下啊。

SVM支持向量机二(Lagrange Duality)

SVM支持向量机二(Lagrange Duality) 各科

机器学习算法与Python实践之(四)支持向量机(SVM)实现

机器学习算法与Python实践之(四)支持向量机(SVM)实现zouxy09@qq.comhttp://blog.csdn.net/zouxy09        机器学习算法与Python实践这个系列...
  • zouxy09
  • zouxy09
  • 2013年12月13日 00:12
  • 100087

SVM支持向量机原理(四)SMO算法原理

转自http://www.cnblogs.com/pinard/p/6111471.html 在SVM的前三篇里,我们优化的目标函数最终都是一个关于α α向量的函数。而怎么极小化这个函数...

支持向量机SVM的smo算法

  • 2016年04月28日 10:30
  • 6KB
  • 下载

用SMO算法求解支持向量机(SVM)pythony源代码(三)

相关内容 支持向量机的基本原理(一) SMO算法求解支持向量机(二)子文件1—1 # -*- coding: utf-8 -*-from numpy import * import operato...

py2.7 : 《机器学习实战》 SVM支持向量机:1.26号 6-1 SMO算法简化版

概念:SMO(Sequential Minimal Optimization)是针对求解SVM问题的Lagrange对偶问题,一个二次规划式,开发的高效算法。传统的二次规划算法的计算开销正比于训练集的...

支持向量机(SVM)的SMO算法详解

1.对于SVM的基本理论不做解释,以及对公式的转换不做分析,直接进入SMO算法中对拉格朗日乘子的求解。 求解过程为:                   1.选择两个乘子a1和a2。      ...

支持向量机(SVM)的SMO算法实现(Python)

Python实现SMO

SVM 支持向量机(3) SMO算法小结

SMO算法 (Sequential Minimal Optimization)

支持向量机(SVM)(五)-- SMO算法详解

一、我们先回顾下SVM问题。 A、线性可分问题 1、SVM基本原理: SVM使用一种非线性映射,把原训练            数据映射到较高的维。在新的维上,搜索最佳分离超平面,两个类的数...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:SVM支持向量机四(SMO算法)
举报原因:
原因补充:

(最多只允许输入30个字)