支持向量机(SVM)

原创 2017年10月06日 19:53:58

SVM定义是在特征空间上的间隔最大的线性分类器,间隔最大使它区别于感知机;
有的人认为支持向量机是最好的现成分类器,SVM能够对训练集以外的数据点做出很好的决策。

先介绍几个概念:
一、数据的可分性:
(1)当数据线性可分时,可以学习一个线性可分向量机
(2)当数据不线性可分,可以利用核函数学习一个非线性分类器
二、函数间隔 和几何间隔:
这里写图片描述

A,B,C三个点均在正类一侧,A距离超平面较远,若该点预测为正类,就比较有确信度;点C距离超平面较近,则该预测就不那么确信;

一般在 超平面 w*x+b=0 确定的情况下,|w*x+b|能够相对的表示点x距离超平面的远近。 而 w*x+b 的符号与 y的符号是否一致能够表示分类是否正确。 所有可以用 y*(w*x+b) 来表示分类的正确性和 可信度。

这里写图片描述

我们对分离超平面法向量 w 加以优化使|w|=1,这时函数间隔变成几何间隔。

这里写图片描述

三、间隔最大化:

对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练集进行分类。
以为着对距离超平面最近的点也有足够大的确信度将其分开。

(1)最大间隔分离超平面:

这里写图片描述

下面考虑如何求一个几何间隔最大的超平面,可以表示为下面的约束优化问题:
这里写图片描述
由函数间隔和几何间隔间的关系:

这里写图片描述

可将问题改写为:
这里写图片描述

可以知道函数间隔这一改变对最优化问题的解没有影响,于是取 函数间隔为1,且 最小化 1/w 和 最大化 1/2 w*w是等价的,于是得到下面的最优化问题:

这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。

支持向量机SVM python源代码

  • 2017年10月26日 19:31
  • 1KB
  • 下载

Machine Learning:支持向量机通俗导论(理解SVM的三层境界)

转载自:http://blog.csdn.net/v_july_v/article/details/7624837 前言     动笔写这个支持向量机(support vector machi...
  • Leonis_v
  • Leonis_v
  • 2016年01月16日 21:28
  • 17004

支持向量机svm的介绍

  • 2017年07月03日 17:21
  • 907KB
  • 下载

SVM支持向量机

  • 2015年12月10日 23:26
  • 15KB
  • 下载

最小二乘支持向量机(LS-SVM)工具箱及使用说明

最小二乘支持向量机Matlab工具箱 下载址:   http://www.esat.kuleuven.be/sista/lssvmlab ,Latest version: LS-SVMlab v1....

支持向量机SVM简介

  • 2015年07月15日 10:15
  • 376KB
  • 下载

支持向量机SVM

  • 2015年11月21日 21:23
  • 1.35MB
  • 下载

机器学习算法与Python实践之(二)支持向量机(SVM)初级

机器学习算法与Python实践之(二)支持向量机(SVM)初级zouxy09@qq.comhttp://blog.csdn.net/zouxy09        机器学习算法与Python实践这个系列...
  • zouxy09
  • zouxy09
  • 2013年12月12日 23:46
  • 64191

支持向量机SVM

  • 2015年07月02日 19:22
  • 3KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:支持向量机(SVM)
举报原因:
原因补充:

(最多只允许输入30个字)