软间隔SVM的推导
前文介绍了硬间隔SVM的相关推导,本文将继续介绍软间隔SVM的数学推导,即在样本不是线性可分的情况下,允许一部分样本错误分类的SVM。软间隔SVM允许一部分样本不满足约束: yi(w⋅xi)≥0 y i ( w ⋅ x i ) ≥ 0
可以将优化目标写为:
其中 C C 是一个常数,用来衡量允许的不满足约束的程度,其中的 函数可以使用 hinge() h i n g e ( ) 函数,即 losshinge(z)=max(0,1−z) l o s s h i n g e ( z ) = m a x ( 0 , 1 − z )
那么可以将优化目标写为:
引入“松弛变量”
ξi≥0
ξ
i
≥
0
,可以将上式改写为
与硬间隔SVM类似,上述的问题也是个二次规划的问题,可以先用拉格朗日对偶性将其转换为对应的对偶问题,再用SMO算法求解。上面问题对应的拉格朗日函数为:
令
L
L
对 的偏导为
0
0
可以得到
代入
L(w,b,α,ξ,μ)
L
(
w
,
b
,
α
,
ξ
,
μ
)
即可以将原问题化成对偶问题:
可以看出其与硬间隔SVM唯一的区别在于 αi≥0 α i ≥ 0 变成了 C≥αi≥0 C ≥ α i ≥ 0 ,同样可以用上文中提到的SMO算法很方便的求解,唯一的区别在于剪辑的时候需要考虑两个方向。
后面还会介绍SVM的核技巧以及常用核,To be continue…