【统计学习方法】支持向量机SVM

正文

简介

SVM是一种分类算法，实际上是在数据集中设计出了一个超平面，划分开了所有的样本进而进行分类。划分的依据是样本点距离超平面的间隔最大化，这有别于感知机。svm算法实现了寻找最佳的分类平面，并且借助核技巧，svm可以划分非线性可分样本。

svm的学习策略是间隔最大化，可以形式上为求解一个凸二次规划问题，也等价于正则化的合页损失函数最小化的问题。svm的学习是在特征空间上进行的。

什么是间隔

直接开门见山了：可以分为两种间隔，但是都是几何上很容易理解的。
首先是函数间隔
如果我们对w进行规范化，就可以得到升级版的几何间隔：

线性可分支持向量机

利用硬间隔最大化求得最优分离超平面，此时解是唯一的。
超平面：wx+b=0
分类决策函数：f(x = sign(wx+b))

优化问题的转化

1. 最原始问题：
   

2. 考虑几何间隔，并且变形
   
   因为gamma是无关项，不影响最优化问题的求解。
   

3. 为了求解，构造拉格朗日函数，求解对偶问题