支持向量机(SVM) SMO算法详解

1.寻找最大间隔

训练样本集：D = { (x1, y1) ,  (x2, y2) , ... ,(xm, ym) } , yi ϵ { -1, +1}

划分超平面的线性方程：wTx + b = 0（1）

样本空间中任一点x到超平面(w, b)的距离为：

（2）

假设超平面(w, b)能将训练样本正确分类，对于(xi, yi) ϵ D， 有：

 （3）

间隔为：

（4）

欲求最大间隔，即使得ϒ最大，等价于求解：

（5）

 

2.对偶问题

大间隔划分超平面所对应的模型为：

（6）

式（5）是一个凸二次规划问题，能直接用现代计算包求解，但我们有一个更高效的办法，即拉格朗日乘子法。

对式（5）使用拉格朗日乘子法得到其“对偶问题”。具体来说，对式（5）的每条约束添加拉格朗日乘子αi ≥ 0，该问题的拉格朗日函数可写为：

（7）

其中α = ( α1; α2; ... ; αm )。令L(w,b, α)对w和b的偏导为零可得：

（8）

（9）

将式（8）代入式（7），即可将L(w, b, α)中的α和b消去，再考虑式（9）的约束，就得到对偶问题：

（10）

K(xi , xj)为xi和 xj两个向量的内积。约束条件C≥αi≥