统计学习方法（机器学习）——7.4、支持向量机（序列最小最优化算法）

支持向量机SVM

接上文：非线性支持向量机与核函数

序列最小最优化算法

        SVM的学习问题可以形式化为求解凸二次规划问题，这样的凸二次规划问题具有全局最优解，且有许多最优化算法可以求解。但当训练样本容量很大时，这些算法都变得非常低效，以至无法使用。本文介绍序列最小最优化（SMO）算法。
        SMO算法要解如下凸二次规划的对偶问题：
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i，x_j)-\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$0\le {\alpha }_i\le C,i=1,2,...,N$$
在这个问题中，变量是拉格朗日乘子，一个变量${\alpha }_i$对应于一个样本点$(x_i,y_i)$，变量总数等于训练样本容量$N$。
        SMO算法是一种启发式算法，其基本思路是：如果所有变量的解都满足此最优化问题的KKT条件，则找到了这个问题的解，因为KKT条件是该最优化问题的充要条件。否则，选择两个变量，固定其它变量，针对这两个变量构建一个二次规划问题，这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解，因为这会使得原始二次规划问题的目标函数值变得更小。重要的是，这时子问题可以通过解析方法求解，大大提高算法的计算速度。子问题有两个变量，一个是违反KKT条件最严重的那个，另一个由约束条件自动确定。如此，SMO算法将原问题不断分解成子问题求解，进而达到求解原问题的目的。子问题的两个变量只有一个是自由变量，一个确定后另一个也随之确定。
        整个SMO算法包括两部分：求解两个变量二次规划的解析方法和选择变量的启发式方法。

---

两个变量二次规划的求解方法

        不失一般性，假设两个变量是${\alpha }_1,{\alpha }_2$，其它变量${\alpha }_i(i=3,4,...,N)$是固定的。于是SMO的最优化问题的子问题可以写成：
$$\underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_{}$$