Scikit-Learn支持向量机分类

1、支持向量机（SVM）

1.1、SVM概述

在机器学习中，支持向量机（Support Vector Machine，SVM）算法既可以用于回归问题（SVR），也可以用于分类问题（SVC）

支持向量机是一种经典的监督学习算法，通常用于分类问题。SVM（分类）在机器学习知识结构中的位置如下：

SVM的核心思想是将分类问题转化为寻找分类超平面的问题，并通过最大化分类边界点（支持向量）到分类平面的距离（间隔）来实现分类

如图所示，左图展示了三种可能的线性分类器的决策边界，虚线所代表的模型表现非常糟糕，甚至都无法正确实现分类；其余两个模型在训练集上表现堪称完美，但是它们的决策边界与实例过于接近，导致在面对新样本时，表现可能不会太好

右图中的实线代表SVM分类器的决策边界，两虚线表示最大间隔超平面，虚线之间的距离（两个异类支持向量到超平面的距离之和）称为超平面最大间隔，简称间隔；SVM的决策边界不仅分离了两个类别，而且尽可能的远离了最近的训练实例，距离决策边界最近的实例称为支持向量

1.2、SVM原理

SVM的最优化问题就是要找到各类样本点到超平面的距离最远，也就是找到最大间隔超平面。任意超平面的方程为
$${\omega }^{T}x+b=0$$

其中$\omega$为超平面的法向量，决定了超平面的方向；$b$为位移项，决定了超平面到原点间的距离

二维空间点$(x,y)$到直线$Ax+By+C=0$的距离公式为
$$d=\frac{|Ax+By+C|}{\sqrt{A^2+B^2}}$$

扩展到N维空间中，点$(x_1,x_2,...x_n)$到直线${\omega }^{T}x+b=0$的距离为
$$d=\frac{|{\omega }^{T}x+b|}{||\omega ||}$$