支持向量机基本模型定义为特征空间上的间隔最大的线性分类器。而它的学习策略为最大化分类间隔,最终可转化为凸二次规划问题求解。SVM为非参数模型。SVM的损失函数采用的是hingeloss。在学习分类器的时候,SVM只考虑与分类最相关的少数支持向量点。
应用:解决二分类或者多分类问题
最优分类超平面
最优分类超平面–尽可能的远离所有类别的数据点,对已知和未知数据都能准确地分类,因而,我们需要寻找有最大间隔的最优超平面。
定义超平面:
在二维空间里面,假设两个向量
可以得到:
解得,在二维平面的表示方式 y=ax+b 等价于
间隔与支持向量
正交投影:
可以得到向量 z=(u⋅x)u 是向量x在y上的正交投影。
由上可得:
点A(3,4)和超平面之间的距离||p||,p=(u⋅a)u
因而,空间中任一点到超平面的距离可以写成:
支持向量的定义:训练样本使得成立,即样本在间隔边界处。
目标函数:我们需要最大化间隔,两个不同类支持向量到超平面的距离
即可得到约束条件