支持向量机(SVM)

SVM定义是在特征空间上的间隔最大的线性分类器,间隔最大使它区别于感知机;
有的人认为支持向量机是最好的现成分类器,SVM能够对训练集以外的数据点做出很好的决策。

先介绍几个概念:
一、数据的可分性:
(1)当数据线性可分时,可以学习一个线性可分向量机
(2)当数据不线性可分,可以利用核函数学习一个非线性分类器
二、函数间隔 和几何间隔:
这里写图片描述

A,B,C三个点均在正类一侧,A距离超平面较远,若该点预测为正类,就比较有确信度;点C距离超平面较近,则该预测就不那么确信;

一般在 超平面 w*x+b=0 确定的情况下,|w*x+b|能够相对的表示点x距离超平面的远近。 而 w*x+b 的符号与 y的符号是否一致能够表示分类是否正确。 所有可以用 y*(w*x+b) 来表示分类的正确性和 可信度。

这里写图片描述

我们对分离超平面法向量 w 加以优化使|w|=1,这时函数间隔变成几何间隔。

这里写图片描述

三、间隔最大化:

对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练集进行分类。
以为着对距离超平面最近的点也有足够大的确信度将其分开。

(1)最大间隔分离超平面:

这里写图片描述

下面考虑如何求一个几何间隔最大的超平面,可以表示为下面的约束优化问题:
这里写图片描述
由函数间隔和几何间隔间的关系:

这里写图片描述

可将问题改写为:
这里写图片描述

可以知道函数间隔这一改变对最优化问题的解没有影响,于是取 函数间隔为1,且 最小化 1/w 和 最大化 1/2 w*w是等价的,于是得到下面的最优化问题:

这里写图片描述

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010956473/article/details/78166707
文章标签: svm
个人分类: 机器学习
上一篇Numpy基础操作
下一篇RCNN方法汇总及改进
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭