svm

支持向量机（Support Vector Machine, SVM）的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题。与逻辑回归和神经网络相比，支持向量机，或者简称 SVM，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。支持向量机做的全部事情，就是极小化参数向量?范数的平方，或者说长度的平方。
支持向量机是一种二分类模型。一般SVM有下面三种：
硬间隔支持向量机（线性可分支持向量机）：当训练数据线性可分时，可通过硬间隔最大化学得一个线性可分支持向量机。
软间隔支持向量机：当训练数据近似线性可分时，可通过软间隔最大化学得一个线性支持向量机。
非线性支持向量机：当训练数据线性不可分时，可通过核方法以及软间隔最大化学得一个非线性支持向量机。
支持向量机的目的：对于用于分类的的支持向量机来说，给定一个包含正例和反例（正样本点和负样本点）的样本集合，支持向量机的目的是寻找一个超平面来对样本进行切割，把样本中的正例和反例用超平面分开，但不是简单的分开，其原则是使正例和反例之间的间隔最大。简单来说就是，求解能够正确划分训练数据集，且几何间隔最大的分离超平面。
超平面？超平面就是平面中的直线在高维空间中的推广。对于三维空间，超平面就是平面了。对于高维空间，只能用公式去表达，不能直观形容出来。总之，在n维空间中的超平面就是n-1维的。

假设我们找到了一个超平面，它离正样本最近点的距离大于离负样本最近点的距离，那么这个离超平面最近的点就是负样本中最近的点。考虑到我们的目标，会调整超平面的位置，到最后的结果是超平面离两侧最近点的距离是等距的。可以看到再上图上有另外两个超平面H1和H2（虚线）。这两个超平面分别通过正样本和负样本离分割超平面最近的样本点。
咱们所说的支持向量就是超平面H1和H2上面的点。正负样本的间隔可以定义为超平面上H1和H2之间的间隔，他是分割超平面距最近正样本点的距离和最近负样本点的距离之和。