1.寻找最大间隔
训练样本集:D = { (x1, y1) , (x2, y2) , ... ,(xm, ym) } , yi ϵ { -1, +1}
划分超平面的线性方程:wTx + b = 0(1)
样本空间中任一点x到超平面(w, b)的距离为:
(2)
假设超平面(w, b)能将训练样本正确分类,对于(xi, yi) ϵ D, 有:
(3)
间隔为:
(4)
欲求最大间隔,即使得ϒ最大,等价于求解:
(5)
2.对偶问题
大间隔划分超平面所对应的模型为:
(6)
式(5)是一个凸二次规划问题,能直接用现代计算包求解,但我们有一个更高效的办法,即拉格朗日乘子法。
对式(5)使用拉格朗日乘子法得到其“对偶问题”。具体来说,对式(5)的每条约束添加拉格朗日乘子αi ≥ 0,该问题的拉格朗日函数可写为:
(7)
其中α = ( α1; α2; ... ; αm )。令L(w,b, α)对w和b的偏导为零可得:
(8)
(9)
将式(8)代入式(7),即可将L(w, b, α)中的α和b消去,再考虑式(9)的约束,就得到对偶问题:
(10