Python3机器学习实践：支持向量机理论与实例

支持向量机属于监督式学习的方法，可实现分类以及回归。它是Corinna Cortes和Vapnik等于1995年首先提出的。算法优点在于具有完整的理论支持，可以得到全局最优解，并且可以解决非线性问题。缺点在于不适用于样本数较大的情况，另外针对非线性问题时核函数的选择，没有特别的依据。

分类–引入

如上图，平面内展示了二维数据样本，其中“+”号表示正例，“-”号表示负例。存在无数条分割线可以分开上述两类样本(见下图，图中仅列出了4条分割线)。

所有分割线中，只存在一条最优的：分割线到负例的距离中最小的那个距离，要等于到正例的距离中最小的距离，并且这两个距离的和是所有满足前一个条件的分割线中最大的(见下图左)。

下面定义一个向量W，现在只定义它的方向，就是与分割线垂直。