Support Vector Machine(SVM) sklearn实现

---

SVM算法原理

SVM是一种有监督的机器学习算法，解决的是二元分类问题，即分两类的问题，多元分类问题可以通过构造多个SVM分类器的方法来解决。

问题描述

假设给定一组训练样本$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}$，每个样本 $i$ 都有一个特征向量$x_i$和一个类别标签$y_i$，其中$y_i\in\{-1,1\}$。SVM算法的任务是通过这组已知类别的样本训练一个分类器，使这个分类器能够判断未知类别的对象的类别。例如我们要对人进行分类，已知十个人的类别分别为正类（蓝色）和负类（黄色），建立分类器后可以判断未知类别的人所属的类别。

线性可分：若存在一个线性函数可以将两类样本完全分开，那么这两类样本称为线性可分的。

上面的两张图展示了平面上的线性可分样本和不可分样本，左图中的样本可以被平面上的线性函数——直线完美分开，因而是可分的；右图中无法找到一条直线将样本完全分开，因而是不可分的。

线性支持向量机

对于线性可分的问题我们所要寻找的分类器是特征空间的一个超平面 <w,x>+b=0 < w , x > + b = 0 <script type="math/tex" id="MathJax-Element-8"> +b=0</script>，其中 <,> < , > <script type="math/tex" id="MathJax-Element-9"><,></script>表示两个向量的内积，这个超平面可以将两类样本完全分开。在上面左图列举的两类人分类的问题中，我们可以看到红色的直线将两类样本完美分开了，这条直线就是一个分类器，这样的分类器可以找到无数条，而SVM算法通过间隔最大化方法来求解唯一确定的分类器，下面先介绍针对线性可分问题的硬间隔最大化方法。
试想如果将红色的分类面平移或旋转形成的新分类面作为最终的分类器会出现什么变化。

由上面的左图可以看到红色分类面平移后，分类间隔没有变化，但蓝色区域的点原本被分到负类而现在被分为了正类，但这个区域的点离负类更近，它们很有可能被误分了；若将红色分类面旋转则是上面右图的情况，分类间隔变得非常小，使得样本的区分度降低了，这时两类样本的区别不够明显很容易发生误分，图中黄色区域和蓝色区域的点的类别都发生了改变。综上，直观上就可以发现，红色直线是最好的分类面，因此SVM算法通过间隔最大化来确定唯一的分类超平面。

硬间隔最大化方法

对于样本点$i$和超平面$<w,x>+b=0$，$|<w,x_i>+b|$可以表示点$i$和超平面的相对距离，若分类正确的话，$y_i(<w,x_i>+b)$恒为正值，因此$y_i(<w,x_i>+b)$能够表示点$i$和超平面的相对距离以及分类的正确与否，我们将$y_i(<w,x_i>+b)$定义为超平面与点$i$的间隔，超平面与点集的间隔定义为超平面与点集中的点的间隔的最小值。$\frac{|<w,x_i>+b|}{||w||}$表示点$|x_i|$到超平面的距离，我们定义$\frac{y_i(<w,x_i>+b)}{||w||}$为超平面与点$i$的几何间隔，超平面与点集的几何间隔定义为超平面与点集中的点的几何间隔的最小值。我们要寻找的是与两类样本点集有着最大几何间隔的分类超平面，这就意味着我们要求解一个优化问题：$max\ \frac{y_i(<w,x_i>+b)}{||w||}$。这个优化问题中分子是间隔，其取值并不能影响优化问题的解，因此优化问题的目标函数可简化为$max\ \frac{1}{||w||}$，由于最大化$\frac{1}{||w||}$和最小化$\frac{1}{2}||w||^2$是等价的，因此最终优化问题的目标函数为 min 12||w