[基本功]SVM如何优化拉格朗日乘子——SMO算法

问题：在SVM原问题转化为对偶问题后，如何由下式求得最优解${\alpha }^{\ast }$
$$\begin{gathered} mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.{\alpha }_i>=0, \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
求解：SMO(Sequential Minimal Optimization)算法，即序列最小优化算法

SMO核心思想：每次只优化一个参数，其它参数先固定住，仅求当前这个优化参数的极值。

具体步骤：

（1）选择两个需要更新的参数${\alpha }_i$和${\alpha }_j$，固定其他参数。于是约束为:
$$\begin{gathered} {\alpha }_i>=0{\alpha }_j>=0 \\ {\alpha }_i{y}_i+{\alpha }_j{y}_j=c \end{gathered}$$
其中$c=-{\sum }_{k\ne i,j}{\alpha }_k{y}_k$，有${\alpha }_j=\frac{c-{\alpha }_i{y}_i}{y_j}$。

（2）这样优化目标就相当于只对${\alpha }_i$求偏导即可，令导数为0，求得变量值${\alpha }_i^{new}$，进而得到${\alpha }_j^{new}$

（3）多次迭代直至收敛。