【Python机器学习】支持向量机——基于最大间隔分隔数据

有些人认为，SVM是最好的现成的分类器，这里说的“现成”指的是分类器不加修改即可直接使用。同时，这就意味着在数据上应用基本形式的SVM分类器就可以得到低错误率的结果。SVM能够对训练集之外的数据点做出很好的分类决策。

支持向量机（SVM）的优缺点：

优点：泛化错误率低，计算开销不大，结果易解释；

缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二分类问题；

使用数据类型：数值型和标称型数据。

上图中，A图中的两组数据，它们之间已经分隔地足够开，因此很容易就可以在图中画出一条直线将两组数据点分开。在这种情况下，这组数据被称为线性可分数据。将数据集分割开来的直线称为分隔超平面。如果数据点都在二维平面上，此时的分隔超平面就只是一条直线。但是，如果所给的数据是三维的，那么此时用来分隔数据的就是一个平面。

超平面，也就是分类的决策边界。分布在超平面一侧的所有数据都属于某个类别，而分布在另一侧的所有数据则属于另一个类别。

我们希望构造的分类器：如果数据点离决策边界越远，那么其最后的预测结果也就越可信。我们希望可以找到离分隔超平面最近的点，确保他们离分隔面的距离尽可能远。这里点到分隔面的距离被称为间隔。我们希望间隔尽可能地大，这是因为如果我们犯错或在有限数据上训练分类器的话，我们希望分类器尽可能健壮。

支持向量就是离分隔超平面最近的那些点。