线性可分svm原理详解

一、支持向量机-svm

支持向量机(supportvector machines，SVM)是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使得它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二期规划的问题。支持向量机学习方法包含构建由简至繁的模型：线性可分支持向量机、线性支持向量机、非线性支持向量机。

这里只对线性可分的原理进行详细介绍，其他两种原理都差不多。

二、问题引出

1、寻找最大间隔

  上述将数据集分隔开来的直线称为分隔超平面，也就是分类的决策边界。我们希望能采用这种方式来构建分类器，即如果数据点离决策边界越远，那么其最后的预测结果也就越可信。我们希望找到离分隔超平面最近的点，确保它们离分割面的距离尽可能远。 这里点到分隔面的距离被称为间隔，我们希望间隔尽可能的大。离分隔超平面最近的那些点被称为“支持向量”。

2、平面方程的导出

3、两个平行平面之间的距离

4、建立模型

                               

三、拉格朗日对偶问题

上式中，α_i 是拉格朗日算子。如果按这个公式求极小值会出现问题，因为我们球的是极小值，而这里的   是小于等于0的，我们可以将调整成很大的正值，来使最后的函数结果是负无穷。因此我们需要排除这种情况，我们定义下面的函数：

       这里P代表primal。假设   大于0 ，那么我们总可以调整α_i 来使得θ_(p(w)) 为f(w)。这里要求αi ≥0，而且求得是极大值。因此这里可以写作：

四、原始问题与对偶问题的关系

五、求解原问题的对偶问题

对上式分别对w,b求偏导，求极小值，令其=0

继续化简对偶问题

重新整理对偶问题

原问题重新定义

重新理解SVM：原问题是求解w，其维度和x是一致的，现在求解α,其维度和样本数目一致的，改变了求解问题的维度。观察最优化目标函数，包含样本x的计算只有点积的形式，方便我们引入核函数。核函数也只能在对偶问题形式下引入。

六、SMO算法