正文
简介
SVM是一种分类算法,实际上是在数据集中设计出了一个超平面,划分开了所有的样本进而进行分类。划分的依据是样本点距离超平面的间隔最大化,这有别于感知机。svm算法实现了寻找最佳的分类平面,并且借助核技巧,svm可以划分非线性可分样本。
svm的学习策略是间隔最大化,可以形式上为求解一个凸二次规划问题,也等价于正则化的合页损失函数最小化的问题。svm的学习是在特征空间上进行的。
什么是间隔
直接开门见山了:可以分为两种间隔,但是都是几何上很容易理解的。
首先是函数间隔
如果我们对w进行规范化,就可以得到升级版的几何间隔:
线性可分支持向量机
利用硬间隔最大化求得最优分离超平面,此时解是唯一的。
超平面:wx+b=0
分类决策函数:f(x = sign(wx+b))
优化问题的转化
-
最原始问题:
-
考虑几何间隔,并且变形
因为gamma是无关项,不影响最优化问题的求解。
-
为了求解,构造拉格朗日函数,求解对偶问题