chapter 6 支持向量机
6.1 间隔与支持向量
分类学习的基本思想就是在样本空间中找到一个划分超平面,将不同类别的样本分开。
这个划分超平面所产生的分类结果是最鲁棒的,对未见示例的泛化能力最强。
w为法向量,决定了超平面的方向,b为位移项,决定了超平面与原点的距离。
样本空间中任一点到超平面的距离为:
注意:使等号成立,等号成立时最近样本离超平面的距离就是1/|w|
间隔:两个异类支持向量到超平面的距离之和
支持向量:距离超平面最近的几个训练样本点
欲找到具有最大间隔的划分超平面,也就是找到满足max(间隔)的超平面参数w和b。求取w的最小值。
6.2 对偶问题
式6.6本身是一个凸二次规划问题,能直接用现成的优化计算包求解,但有更高效的算法。
对6.6使用拉格朗日乘子法可得到其“对偶问