支持向量机
一、间隔与支持向量
-
支持向量:能支持样本正确分类的点(能使6.3成立的点)
-
间隔:两个异类支持向量到超平面的距离之和
-
-
支持向量机基本型:要最大化间隔,则需
注:凸二次规划问题,可用现成优化计算求包解,下面给出更高效方法。
二、对偶问题
对上式使用拉格朗日乘子法得到“对偶问题”
如何求解式(6.11)?二次规划问题,可用二次规划求解,但实际任务开销大。
下介绍SMO算法:
-
变量选取:选取差别大的变量,更新后会带给目标函数值更大的变化
-
违背KKT条件程度最大的变量
-
使目标函数值减少最快
-
仅考虑这条件,约束6.11可写为:
三、核函数
-
背景:现实样本中,并非都线性可分。但幸运的是,都存在更高维度的特征空间使它线性可分。
6.21涉及两映射函数内积计算,维数太大,计算困难,为此用下式避开障碍:
公式重写和求解:
-
核函数:
-
常用核函数:
四、软间隔与正则化
-
软间隔: