支持向量机(SVM)

原创 2017年10月06日 19:53:58

SVM定义是在特征空间上的间隔最大的线性分类器,间隔最大使它区别于感知机;
有的人认为支持向量机是最好的现成分类器,SVM能够对训练集以外的数据点做出很好的决策。

先介绍几个概念:
一、数据的可分性:
(1)当数据线性可分时,可以学习一个线性可分向量机
(2)当数据不线性可分,可以利用核函数学习一个非线性分类器
二、函数间隔 和几何间隔:
这里写图片描述

A,B,C三个点均在正类一侧,A距离超平面较远,若该点预测为正类,就比较有确信度;点C距离超平面较近,则该预测就不那么确信;

一般在 超平面 w*x+b=0 确定的情况下,|w*x+b|能够相对的表示点x距离超平面的远近。 而 w*x+b 的符号与 y的符号是否一致能够表示分类是否正确。 所有可以用 y*(w*x+b) 来表示分类的正确性和 可信度。

这里写图片描述

我们对分离超平面法向量 w 加以优化使|w|=1,这时函数间隔变成几何间隔。

这里写图片描述

三、间隔最大化:

对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练集进行分类。
以为着对距离超平面最近的点也有足够大的确信度将其分开。

(1)最大间隔分离超平面:

这里写图片描述

下面考虑如何求一个几何间隔最大的超平面,可以表示为下面的约束优化问题:
这里写图片描述
由函数间隔和几何间隔间的关系:

这里写图片描述

可将问题改写为:
这里写图片描述

可以知道函数间隔这一改变对最优化问题的解没有影响,于是取 函数间隔为1,且 最小化 1/w 和 最大化 1/2 w*w是等价的,于是得到下面的最优化问题:

这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

支持向量机svm的介绍

  • 2017-07-03 17:21
  • 907KB
  • 下载

支持向量机SVM

  • 2015-11-21 21:23
  • 1.35MB
  • 下载

海量数据挖掘MMDS week6: 支持向量机Support-Vector Machines,SVM

海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 支持向量机Support-Vector Machines,SVM {博客...

支持向量机SVM算法

  • 2015-10-08 19:45
  • 878KB
  • 下载

支持向量机SVM

支持向量机(SVM)基础

版权声明:     本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系whe...

SVM支持向量机

  • 2015-12-10 23:26
  • 15KB
  • 下载

机器学习算法与Python实践之(四)支持向量机(SVM)实现

zouxy09@qq.com http://blog.csdn.net/zouxy09          机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为...

支持向量机SVM简介

  • 2015-07-15 10:15
  • 376KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)