基于sklearn的线性支持向量机分类器

原理

分类器

机器学习的分类器，均可以看成一个或一组超平面，将label不同的数据点在数据空间中分开。对于线性可分问题，属于相同label的数据点在数据空间中可以看成是“类聚”的，即具有相同label的点会聚在一起。这样，分类效果最好的超平面应该满足：对于其分割的两种label，距离最近的两个不同label的数据点距离超平面的距离都足够大，即超平面离两个类聚的空间都足够远。

支持向量

对于支持向量机来说，最关心的并不是所有数据的分布情况，而是所谓类聚空间边界的相互位置，这些边界上的数据点，即两个空间间隔最小的两个数据点被称为支持向量，支持向量机分类器就是针对这些点优化的分类器

核函数

以上的所有说明都是针对线性可分问题的，当处理线性不可分问题的时候，线性分类器就无能为力了。那么需要使用一个叫核函数的东西，将线性不可分问题变成线性可分问题。核函数是一种对应关系，可以将数据映射到更高的维度上去，即认为：在当前维度不可分的问题，到达更高维度的时候有可能变的线性可分。在支持向量机的范畴中，核函数是一种先验，即人工在训练前就指定的。在当前的神经网络算法中，可以将输出层看成线性分类器，将隐藏层看成核函数，这样的视角下神经网络中的核函数是通过数据训练出来的

代码实现

载入手写体数据集

from sklearn.datasets import load_digits
digits = load_digits()
print(digits.data.shape)
print(type(digits),type(digits.data