kkt条件例题求最优解_第七章 支持向量机（第4节 序列最小最优化算法 第2，3小节）...

2.变量的选择方法

SMO算法在每个子问题中选择两个变量进行优化，其中至少一个变量是违反KKT条件的。

这一小节，将告诉我们，到底选取哪两个变量最合适？也就是说，选择的标准是什么？

我们将这一小节分三步来讲：第一步，如何选择第一个变量？第二步，如何选择第二个变量？第三步，更新阈值

和差值

。

（1）第1个变量的选择

SMO称选择第1个变量的过程为外层循环。

外层循环在训练样本中选取违反KKT条件最严重的样本点，并将其对应的变量作为第1个变量。具体地，检验训练样本点

是否满足KKT条件，即

其中，

。

该检验是在

范围内进行的。在检验过程中，外层循环首先遍历所有满足条件

的样本点，即在间隔边界上的

支持向量点，检验它们是否满足KKT条件。如果这些样本点都满足KKT条件，那么遍历整个训练集，检验它们是否满足KKT条件。

（2）第2个变量的选择

SMO称选择第2个变量的过程为内层循环。

假设在外层循环中已经找到第1个变量

，现在要在内层循环中找到第2个变量

。第2个变量选择的标准是希望能使

有

足够大的变化。

由上一小节内容，我们知道，