SMO算法是为了解决SVM中的二次规划问题，通过一次优化两个变量来逐步求解所有参数。该算法首先初始化所有α为0，然后选择两个变量，如α1和α2，固定其他变量并优化这两个，接着选择新的变量对重复此过程，直到所有变量求解完毕。具体求解过程中涉及一元二次方程的求解，并使用启发式策略选择违反KKT条件最严重的样本点作为第一个变量，然后选择使误差差值绝对值最大的样本点作为第二个变量，以加速迭代。
《最优化理论与算法》超详细学习笔记 （六）————序列最小化算法SMO 支持向量机SVM
什么是SMO算法以及基本思路
序列最小化(SMO)算法是一种解决二次优化问题的算法，其最经典的应用就是在解决SVM问题上。SVM推导到最后，特别是使用了拉格朗日因子法求解之后便不难发现其最终等效为一个二次规划问题。为了解决普通二次规划算法计算量大的问题，1998年John Platt发布了一个称为SMO的强大算法，用于训练SVM分类器。
我们看到SVM最终所需要解决的目标函数：
min α 1 2 ∑ i , j = 1 α i α j y i y j κ ( x i , x j ) − ∑ i = 1 α i s.t. 0 ≤ α i ≤ C , i = 1 , … , n ∑ i = 1 n α i y i = 0 \begin{aligned} \min _{\boldsymbol\alpha} & \frac{1}{2} \sum_{i, j=1} \alpha_{i} \alpha_{j} y_{i} y_{j}\kappa (x_{i}, x_{j})-\sum_{i=1} \alpha_{i}\\\text {s.t.} \quad & 0 \leq \alpha_{i} \leq C, i=1, \ldots, n \\ & \sum_{i=1}^{n} \alpha_{i} y_{i}=0 \end{aligned} αmins.t.21i,j=1∑αiαjyiyjκ(xi,xj)−i=1∑αi0≤αi≤C,i=1,…,ni=1∑nαiyi=0
所求的是 α = ( α 1 , α 2 , ⋯ , α n ) \boldsymbol\alpha=(\alpha_1,\alpha_2,\cdots,\alpha_n) α=(α1,α2,⋯,αn)，样本集的样本容量 n n n越大，所需要求的参数 α i \alpha_i αi越多。
一下子求出成百上千个参数的值可想而知是非常困难而且计算量巨大，SMO算法的思路是一次只求两个变量，固定其他变量，以此类推，直至求出所有变量。
大致求解步骤为：
- 设定 α \boldsymbol\alpha α的初始值为0.
- 按一定的规则选取两个变量，例如 α 1 , α 2 \alpha_1,\alpha_2 α1,α2，固定其他 α i \alpha_i αi
- 优化 α 1 , α 2 \alpha_1,\alpha_2 α1,α2，满足约束条件后，选取另外两个变量，如 α 3 , α 4 \alpha_3,\alpha_4 α3,α4.
- 依此类推，直至所有变量都已经求出
SMO具体求解思路
以 α 1 , α 2 \alpha_1,\alpha_2 α1,α2
最低0.47元/天 解锁文章
374
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
