机器学习-10 基于sklearn支持向量机

支持向量机——分类

支持向量机 (SVMs) 的应用面比较广，可用于回归、分类和和 异常检测。其最常见的应用是做分类。
支持向量机(Support Vector Machine, SVM） 是由最优分类面衍生而来， 在线性可分情况中， 其根本思想是将特征向量映射到一个比自身维度更高的空间里，在这个空间里建立一个新的隔离平面，使得隶属不同类别的特征向量点间隔最大。各类别对应的平行超平面间的距离越大，分类器的总误差则越小。
设 n 个样本的训练合集为$(x_i,y_i)，i=1,2,\dots \dots ，n$。$d$维空间中线性判别函数的形式为
$$g(x)=wx+b$$
某数据点$x_i$到分类平面的距离可以表示为$\frac{|\omega x+b|}{\Vert \omega \Vert }$，点到原点的距离为$\frac{|b|}{\Vert \omega \Vert }$。
离分类平面最近的数据点和它们对应的平行超平面，将判别函数归一化使所有数据点都满足$\left|g(x)\right|\ge 1$，且距分类平面距离最小的数据点$\left|g(x)\right|=1$。计算$\frac{{\Vert \omega \Vert }^2}{2}$极小值优化分类平面，使分类间隔最大化。
约束条件为：
$$y_i[\omega x+b]-1\ge 0$$
目标函数为：
$$\phi (\omega )=\frac{1}{2}{\Vert \omega \Vert }^2=\frac{1}{2}(\omega ,\omega )$$
可定义如下的 $Lagrange$ 函数
L ( ω , b , a