关于SVM中SMO算法第一个向量选择的问题

原创 2016年08月30日 17:20:59

在看李航编写的《统计学习方法》一书中第128页时,涉及到SMO算法中第一个变量的选择,然后作者指出选择不满足KKT条件的变量作为第一个变量,然后突然给出了如下三个KKT条件:

αi=0yig(xi)1(1)
0<αi<Cyig(xi)=1(2)
αi=Cyig(xi)1(3)

其中g(xi)=Nj=1αjyjK(xi,xj)+b,其实就是g(xi)=wxi+b
看到这三个公式真是一头雾水啊,跟我看的KKT条件不一样,因为至少应该涉及到 ξ 啊。该书中给的KKT条件中有αiyig(xi)=0yig(xi)1。但是上述第三个式子竟然出现yig(xi)1。一开始真是百思不得其解啊。后来经过仔细研究才发现,得利用该书110页提到的一个公式
Cαiμi=0(4)
该式子是非常重要的(μi是松弛变量ξi对应的拉格朗日乘子)。现在来重新分析上述公式(1)-(3)是怎么得到的。
如果αi=0,那么由公式(4)可得μi=C,由KKT条件μiξi=0可知,ξi=0。又由KKT条件可知αi[yig(xi)(1ξi)]=0yig(xi)1ξi,因为ξi=0,所以就变成αi[yig(xi)1]=0,又因为αi=0,所以yig(xi)1,因此就得到了公式(1)。
同理可得第二个公式。因为0<αi<C,所以由公式(4)可知μi0,因此同样得到ξi=0,又因为αi0,若要使KKT条件成立,只能yig(xi)(1ξi)=0,因此yig(xi)=(1ξi),进而根据ξi=0,有yig(xi)=1,这样就得到了公式(2)。
关于公式(3),因为αi=C,由公式(4)可知μi=0,由KKT条件μiξi=0可知,ξi0。因为0<αi<C,所有约束条件只能等于0,即yig(xi)(1ξi)=0,也即yig(xi)=(1ξi)。因为ξi0,所以yig(xi)=(1ξi)1,得到公式(3)。

【机器学习详解】SMO算法剖析

本文力求简化SMO的算法思想,毕竟自己理解有限,无奈还是要拿一堆公式推来推去,但是静下心看完本篇并随手推导,你会迎刃而解的。推荐参看SMO原文中的伪代码。 **1.SMO概念** ==========...

SMO算法总结

1.概述SMO(Sequentil Minimal Optimization)算法在支持向量机中用来求解对偶问题,即 min 12∑Ni=1∑Nj=1αiαjyiyjK(xi,xj)−∑Ni=1αi...

深入浅出机器学习之支持向量机SVM(SMO算法)

第一版先把主要的框架说一下,细节再补充。对于不想看内部细节的人,还是比较好的。...

自己在libSvm中SMO算法中KKT条件的理解误区(还不确定)

在libsvm中,分类和回归都是基于的同一个SMO算法的Solver类,根据林智仁的文章A Library for Support Vector Machines,最终的二次规划问题可统一表示为: ...
  • WepLeo
  • WepLeo
  • 2017年03月04日 19:36
  • 663

条件熵定义推导公式

http://ccckmit.wikidot.com/st:mutualinformation  这篇博客非常不错,深入浅出,李航的似乎 没有讲清楚...

理解数学空间,从距离到希尔伯特空间

在数学中有许多空间表示,比如欧几里德空间、赋范空间、希尔伯特空间等。这些空间之间有什么关系呢?首先要从距离的定义说起。 什么是距离呢?实际上距离除了我们经常用到的直线距离外,还有向量距离如Σni=1...

支持向量机SVM的smo算法

  • 2016年04月28日 10:30
  • 6KB
  • 下载

用SMO算法求解支持向量机(SVM)pythony源代码(三)

相关内容 支持向量机的基本原理(一) SMO算法求解支持向量机(二)子文件1—1 # -*- coding: utf-8 -*-from numpy import * import operato...

SVM支持向量机原理(四)SMO算法原理

转自http://www.cnblogs.com/pinard/p/6111471.html 在SVM的前三篇里,我们优化的目标函数最终都是一个关于α α向量的函数。而怎么极小化这个函数...

py2.7 : 《机器学习实战》 SVM支持向量机:1.26号 6-1 SMO算法简化版

概念:SMO(Sequential Minimal Optimization)是针对求解SVM问题的Lagrange对偶问题,一个二次规划式,开发的高效算法。传统的二次规划算法的计算开销正比于训练集的...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于SVM中SMO算法第一个向量选择的问题
举报原因:
原因补充:

(最多只允许输入30个字)