线性可分支持向量机与硬间隔最大化

线性可分支持向量机与硬间隔最大化

线性可分支持向量机

（线性可分支持向量机）给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为

以及相应的分类决策函数 

函数间隔和几何间隔 

（函数间隔）对于给定的训练数据集T和超平面(w,b)，定义超平面(w,b)关于样本点(x i ，y i )的函数间隔为：

（几何间隔，即点到线之间的距离）对于给定的训练数据集T和超平面(w,b)，定义超平面(w,b)关于样本点(x i ，y i )的几何间隔为 ：

函数间隔和几何间隔有下面的关系： 

 间隔最大化

下面考虑如何求得一个几何间隔最大的分离超平面，即最大间隔分离超平面。具体地，这个问题可以表示为下面的约束最优化问题：

 考虑几何间隔和函数间隔的关系式，可将这个问题改写为：

 函数间隔 的取值并不影响最优化问题的解。事实上，假设将w和b按比例改变为 aw和 ab，这时函数间隔成为 ar。函数间隔的这一改变对上面最优化问题的不等式约束没有影响，对目标函数的优化也没有影响，也就是说，它产生一个等价的最优化问题。这样就可以取 r＝1。于是就得到下面的线性可分支持向量机学习的最优化问题：

学习的对偶算法

 其中，a＝(a 1 ,a 2 ,…,a N ) T 为拉格朗日乘子向量。根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：

所以，为了得到对偶问题的解，需要先求L(w,b,a)对w,b的极小，再求对a的极大。 

（1）求minL（w,b,a）,将拉格朗日函数L(w,b,a)分别对w,b求偏导数并令其等于0：

（2） 求minL(w,b,a)对a的极大，即对偶问题：

 KKT条件：

（1）梯度为0

（2）稀疏性（互补松弛性）

（3）原问题的约束