一、回顾
上节,我们介绍到了SMO的总体过程,本节对SMO的三个难点结合代码进行详细分析。
二、SMO算法
(1)设置拉格朗日乘子α=(α[1]...α[i]...α[l])的初始值(一般设为全0),并设置迭代次数计数器k=1。
(2)如果α向量已经收敛(符合KKT达到停止条件),停止循环,返回结果;否则,找出工作集B=(i,j),实际上就是找出所要更新的两个α(α[i],α[j])的下标,另外定义剩下的α的下标标号为N,即N=(1,2...l)\B(\表示去掉B中元素),并定义B所对应的α为,N所对对应的α为。
(3)若,解决如下问题:
否则,解决下面问题:
实际上都是关于α的更新方式,至于如何解决这两个问题以及α的详细计算公式会在后面介绍。
4)用新的α[i],α[j]替换原来的α[i],α[j],迭代计数器k=k+1,跳到第二步,继续循环。
三、KKT条件
在上一篇博客说过,上述SMO算法存在三个难点:
(1)如何判断α收敛,即如何停止循环,达到KKT条件。
(2)如何找出工作集B=(i,j),即如何选出两个要更新的α=(α[i],α[j]);
(3)如何更新工作集中的α,即如何更新α[i],α[j]。
下面我们来看如何解决第一个问题。
那么什么是KKT条件呢?
假设我们要解决的是含有等式和不等式约束的最优化问题:
其中,p为等式约束条件的数量,q为不等式约束条件的数量。
f(x)在达到最优值(最小值)时必须满足KKT条件,即:
这就是所谓的KKT条件,也就是等式的拉格朗日乘子λ不能为0,不等式(必须是小于号)的拉格朗日乘子μ必须大于0且与不等式g(x)的乘积等于0,同时拉格朗日函数对未知数α的导数等于0(上述2式)。
下面,我们看支持向量机的优化问题:
上述优化问题经过整理可得: