支持向量机

支持向量机分为线性可分支持向量机、线性支持向量机、非线性支持向量机
线性可分支持向量机
线性可分支持向量机针对的对象是线性可分的数据。即我可以找一个超平面将数据完全划分开。线性可分支持向量机的策略是使数据到超平面的距离最大，即硬间隔最大化（这里与感知机进行区分，感知机的策略是让误分类点到超平面的距离最小，最后即为0。感知机目的只是找到一个超平面可以将数据正确划开，且采用梯度下降的方式跟新权重和偏置，因此有无数多个这样的超平面。而支持向量机是在着无数多个超平面中选择距离最大的那一个）。
支持向量机分类函数
支持向量机的超平面为：
为了使数据到线性可分支持向量机的距离最小，则必须满足要求：

求解时利用拉格朗日算子求解，则得到：

对其w，b，α求偏导可得：

因此可得到线性可分支持向量机的对偶形式为：

在求线性可分支持向量机的分类超平面的时候就可以利用对偶形式进行求解，然后利用（w,b）关于α的函数求出相应的（w，b）
利用对偶形式的优点在于：一是将优化的W，b化简为优化参数α（αi对应数据点（xi，yi））；还有一个优势是在于可以导入核函数进行求解。即应用至更高维。
线性支持向量机
线性支持向量机针对数据绝大部分能完全区分，但存在少部分不能区分的情况。其策略是软件个最大化，即在硬间隔最大化的基础上，设置一个偏移量，补偿其偏置。线性支持向量机的大体思路与线性可分支持向量机的思路一样，只是其最后的最优化对象多了一项：

非线性支持向量机
非线性支持向量机对应的对偶改为核函数的形式即可