libsvm最新源代码（版本3.21）理解解析（二）

一、回顾

上节，我们介绍到了SMO的总体过程，本节对SMO的三个难点结合代码进行详细分析。

二、SMO算法

（1）设置拉格朗日乘子α=(α[1]...α[i]...α[l])的初始值（一般设为全0），并设置迭代次数计数器k=1。

（2）如果α向量已经收敛（符合KKT达到停止条件），停止循环，返回结果；否则，找出工作集B=(i,j)，实际上就是找出所要更新的两个α（α[i],α[j]）的下标，另外定义剩下的α的下标标号为N，即N=(1,2...l)\B（\表示去掉B中元素），并定义B所对应的α为，N所对对应的α为。

（3）若，解决如下问题：

否则，解决下面问题：

实际上都是关于α的更新方式，至于如何解决这两个问题以及α的详细计算公式会在后面介绍。

4）用新的α[i]，α[j]替换原来的α[i]，α[j]，迭代计数器k=k+1，跳到第二步，继续循环。

三、KKT条件

在上一篇博客说过，上述SMO算法存在三个难点：

（1）如何判断α收敛，即如何停止循环，达到KKT条件。

（2）如何找出工作集B=(i,j)，即如何选出两个要更新的α=(α[i],α[j])；

（3）如何更新工作集中的α，即如何更新α[i]，α[j]。

下面我们来看如何解决第一个问题。

那么什么是KKT条件呢？

假设我们要解决的是含有等式和不等式约束的最优化问题：

   

其中，p为等式约束条件的数量，q为不等式约束条件的数量。

f(x)在达到最优值（最小值）时必须满足KKT条件，即：

这就是所谓的KKT条件，也就是等式的拉格朗日乘子λ不能为0，不等式（必须是小于号）的拉格朗日乘子μ必须大于0且与不等式g(x)的乘积等于0，同时拉格朗日函数对未知数α的导数等于0（上述2式）。

下面，我们看支持向量机的优化问题：

         

上述优化问题经过整理可得：