【sklearn实例】2--支持向量机SVM

1 支持向量机

• 思想：
  建立可以分类的超平面，距离超平面最近的点称为支持向量，通过最大化支持向量到超平面的距离，来建立最佳分类超平面，完成分类。
  
  SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题。

• 形式：
  线性可分支持向量机（硬间隔）：当训练数据线性可分时，可通过硬间隔最大化学得一个线性可分支持向量机。
  线性支持向量机（软间隔）：当训练数据近似线性可分时，可通过软间隔最大化学得一个线性支持向量机。
  非线性支持向量机：当训练数据线性不可分时，可通过核方法以及软间隔最大化学得一个非线性支持向量机。

• 特点

优势：
(1)SVM利用核函数可以实现向高维空间的映射，解决非线性问题；
(2)分类思想简单，即最大化分类边际；
(3)有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看，它避开了从归纳到演绎的传统过程，实现了高效的从训练样本到预报样本的“转导推理”，大大简化了通常的分类和回归等问题。
(4)SVM 的最终决策函数只由少数的支持向量所确定，计算的复杂性不再取决于样本空间的维数