机器学习----SVM算法

10人阅读 评论(0) 收藏 举报
分类:

svm算法的通常理解在二维问题上,对于二元分类来说,svm的目的就是找一条线把两类分开。不过下面这个例子,有三条不同的直线都能把这两类分开,那么我们该选哪一条线呢?这将是我们考虑的问题:


首先我们先假设一条直线W*X+b=0是最优的分割线。我们把这种最优SVM分割平面叫做超平面,我们现在的目标就是确定最优的W和b的值。SVM定义超平面为:能使支持向量和超平面之间的最小距离的最大值。那么这句话该如何理解?我们结合着下面这张图:让支持向量和超平面之间的最小值最大化,目的就是使两个类到超平面的间隔是最大的,我们不考虑所有的点和超平面之间的关系,只考虑和超平面最近的点。分类按照这个标准不难理解,因此也就不难理解为什么要求超平面。


根据上面的假设,我们提出已知条件:有蓝色星星样本5个,假设它们代表的类Y=1;同时有紫色圆圈样本5个,假设它们代表的样本Y=-1;因此T={(x1,y1),(x2,y2),(x3,y3)......},超平面方程为W*x+b=0。样本点到超平面的几何距离为:


这个距离大家可以推导一下,按照点到直线距离推导即可,这里就不推理验证了。

下面的问题就是怎样获取超平面:

超平面定义为:支持向量到超平面的最小距离的最大值,即:max[支持向量到超平面的最小距离]。可以表示如下:


加入约束:min yi(w*xi+b) = 1,因此:其他的样本点的函数距离一定是大于1。即y(w*x+b) >= 1,把这个条件带到公式进行优化,得到公式1-3:



在公式1-3的基础上再进行优化,优化最大化分数,转化为优化最大化分母,将公式转化为1-4


为了优化1-4,利用拉格朗日公式和KTT条件,转化如下:


其中列出相等的两个部分是等价的,因此最终我们可以写成对偶表达式的形式:


因此要先求最小值,对w,b求偏导:


把上面求得的参数带入公式优化max:




最终得到超平面。






查看评论

使用Rundll32.exe和Rundll.exe(转程式设计技术)

使用Rundll32.exe和Rundll.exe(转程式设计技术) 本帖版权归原作者,其它网站转载须注明出处,传统媒体转载须事先与原作者和e龙西祠胡同[http://www.xici.net]联系。...
  • yypp
  • yypp
  • 2001-05-27 18:36:00
  • 764

机器学习算法总结--SVM

简介 SVM是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,即支持向量机的学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。或者简单的可以理解为就是在高维空间中寻...
  • lc013
  • lc013
  • 2017-02-16 17:12:56
  • 2043

《机器学习实战》(六)—— SVM(SMO算法)

http://blog.csdn.net/u011239443/article/details/77170119 关于SVM的讲解可以参阅《机器学习技法》的相关笔记:http://blog.csdn...
  • u011239443
  • u011239443
  • 2017-08-14 21:17:27
  • 1744

基于SVM的数字识别技术研究_申勇

  • 2017年09月10日 17:41
  • 3.95MB
  • 下载

系统学习机器学习之SVM(四)--SVM算法总结

这边文章介绍的相当浅显易懂,写的很好。算是SVM总结吧。 转自:http://www.blogjava.net/zhenandaci/category/31868.html (一)SVM的简介 支持向...
  • App_12062011
  • App_12062011
  • 2016-06-07 17:51:07
  • 2886

【机器学习】SVM学习(四):为何需要核函数

转载:http://blog.csdn.net/qll125596718/article/details/6908480        生存?还是毁灭?——哈姆雷特        ...
  • SMF0504
  • SMF0504
  • 2016-10-11 10:10:08
  • 1211

py2.7 : 《机器学习实战》 SVM支持向量机:1.26号 6-1 SMO算法简化版

概念:SMO(Sequential Minimal Optimization)是针对求解SVM问题的Lagrange对偶问题,一个二次规划式,开发的高效算法。传统的二次规划算法的计算开销正比于训练集的...
  • qq_33638791
  • qq_33638791
  • 2017-01-24 22:29:55
  • 613

机器学习:SVM学习笔记

机器学习:SVM学习笔记            svm理论在很早以前就有所接触,只不过感觉掌握不是很透彻,今儿上课老师讲了一次,就重新回顾一下。                 早在svm之...
  • liyaohhh
  • liyaohhh
  • 2016-03-29 16:00:36
  • 2796

SVM算法的实现

  • 2011年10月04日 11:43
  • 540KB
  • 下载

机器学习实战之SVM

1 算法概述 典型传统的SVM跟Logistic一样也是一个二分类问题,就是训练一个决策面,使数据最大程度的分布在决策面两侧。如下图所示: 中间的那条线就是一个决策面。使得图中O数据集与...
  • jiafeier_555
  • jiafeier_555
  • 2017-04-10 10:22:25
  • 390
    个人资料
    持之以恒
    等级:
    访问量: 1万+
    积分: 456
    排名: 11万+
    最新评论