关于序列最小最优化SMO

• SMO是SVM的实现问题
• 思路：
  • 所有变量满足KKT条件，即为最优解
  • 选择两个变量，固定其他变量，从而简化为二次规划问题。提高了整个算法的速度。
• 两个方面的问题：
  • 两变量二次规划的解析求法
  • 选择变量的启发式方法。

关于两变量二次规划的求解问题：

选择两变量之后的子问题为：

二变量的范围限制：

二变量最优解为：

求解过程如下：

关于变量的选择方法：

两个变量至少有一个变量是违反KKT条件的。

1）第一个变量的选择

2）第二个变量的选择

3）计算b并更新Ei