支持向量机(SVM)与其理论发展(1)
写作原因:
接触到支持向量机理论推导的一些问题,去查看了一下资料发现其中的内容并不简单,于是希望能在这里整理一下自己学习的内容,力求在数学上完善。自编自写,错误难免,欢迎交流~
0.简介
支持向量机(support vector machines)是一种有名的二分类模型,在简单的感知机的基础上,支持向量机要求所谓间隔最大,再进一步加上核技巧,这使得它进一步变为非线性分类器。
支持向量机的学习策略就是“间隔”的最大化,经过数学变形可以化为一个凸二次线性规划的求解问题。
一.起点:线性可分支持向量机
1.notation
- 给定的训练集 T={ (x1,y1),(x2,y2),(x3,y3),⋯,(xN,yN)} , 其中 xi∈Rn,yi∈{ −1,+1}, i=1,2,⋯,N 。即赋予正负两类的数据。
- w⋅x+b=0 : 给定超平面, (w,b) 分别是其法向量和截距。
- 函数间隔 γi^=yi(w⋅xi+b) 。
- 几何间隔 γi=yi(w⋅xi+b)∥w∥=γi^/∥w∥ 。容易知道几何间隔,在点被正确分类的时候,就是数据点到超平面的距离,否则是距离的负数。
2.间隔最大化
(1)优化问题的数学表式
支持向量机的想法是,对于线性可分的数据集,希望分割的超平面距离样本点的最短距离尽可能的大,也就是
maxw,b γ