统计学习方法——支持向量机（四）

支持向量机（四）

在前面的基础上，接下来我们关注支持向量机学习的实现问题——序列最小最优化算法（SMO）。

序列最小最优化算法

• SMO算法要解决如下的凸二次规划的对偶问题：
  $$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i,x_j\right)-\sum _{i=1}^N{\alpha }_i$$
  $$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
  $$0\le {\alpha }_i\le C,i=1,2,\cdots ,N$$
• SMO算法的基本思路
  如果所有变量的解都满足此最优化问题的KKT条件，那么这个最优化问题的解就得到了。
• SMO算法的主要部分
  • 求解两个变量二次规划的解析方法
  • 选择变量的启发式方法

两个变量二次规划的求解方法

假设选择的两个变量${\alpha }_1,{\alpha }_2$，其他变量${\alpha }_i\left(i=3,4,\cdots ,N\right)$是固定的，于是SMO的最优化问题的子问题可以写为：
$$\underset{{\alpha }_1,{\alpha }_2}{\min }W\left({\alpha }_1,{\alpha }_2\right)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-\left({\alpha }_1+{\alpha }_2\right)+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2}$$
$$s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{y}_i{\alpha }_i=\varsigma$$
$$0\le {\alpha }_i\le C,i=1,2$$
其中$K_{ij}=K\left(x_i,x_j\right),i,j=1,2,\cdots ,N$，$\varsigma$为常数。

假设初始解为${\alpha }_1^{old},{\alpha }_2^{old}$，最优解为${\alpha }_1^{new},{\alpha }_2^{new}$，并假设在沿着约束方向未经剪辑时${\alpha }_2$的最优解为${\alpha }_2^{new,unc}$。

定理：优化问题沿着约束方向未经剪辑时的解为：
$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2\left(E_1-E_2\right)}{\eta }$$
其中：
$$\eta =K_{11}+K_{22}-2K_{12}={\Vert \Phi \left(x_1\right)-\Phi \left(x_2\right)\Vert }^2$$
$$E_i=g\left(x_i\right)-y_i=\left(\sum _{j=1}^N{\alpha }_j{y}_{j}K\left(x_j,x_i\right)+b\right)-y_i,i=1,2$$
KaTeX parse error: Expected 'EOF', got '\[' at position 1: \̲[̲{\Phi \left( {{…是输入空间到特征空间的映射。
经剪辑后的解为：
$${\alpha }_2^{new}=\{\begin{array}{l}H,{\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc},L\le {\alpha }_2^{new,unc}\le H\\ L,{\alpha }_2^{new,unc}<L\end{array}$$
由${\alpha }_2^{new}$求得${\alpha }_1^{new}$是：
$${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2\left({\alpha }_2^{old}-{\alpha }_2^{new}\right)$$

变量的选择方法

SMO算法在每个问题中选择两个变量优化，其中至少一个变量是违反KKT条件的。

• 第一个变量的选择
  SMO称选择第1个变量的过程为外层循环，
  • 标准
    在训练样本中选取违反KKT条件最严重的样本点，并将其对应的变量作为第1个变量。
  • 检测训练样本点$\left(x_i,y_i\right)$是否满足KKT条件，即
    $${\alpha }_i=0\iff y_{i}g\left(x_i\right)\ge 1$$
    $$0<{\alpha }_i<C\iff y_{i}g\left(x_i\right)=1$$
    $${\alpha }_i=C\iff y_{i}g\left(x_i\right)\le 1$$
    其中$g\left(x_i\right)=\sum _{j=1}^N{\alpha }_j{y}_{j}K\left(x_i,x_j\right)+b$。
• 第2个变量的选择
  SMO称选择第2个变量的过程为内层循环，假设在外层循环已经找到第一个变量${\alpha }_1$，要在内层循环中找到第2个变量${\alpha }_2$。
  • 标准：
    希望使${\alpha }_2$有足够大的变化。
  • 方法
    ${\alpha }_2^{new}$依赖于$\left|E_1-E_2\right|$，${\alpha }_1$确定$E_1$也确定，选择${\alpha }_2$使得$\left|E_1-E_2\right|$最大。
  • 特殊情况
    如果目标函数没有足够的下降，使用启发式方法或重新选择${\alpha }_1$。
• 计算阈值$b$和差值$E_i$
  • 当$0<{\alpha }_1^{new}<C$时，由KKT可知：
    $$\sum _{i=1}^N{\alpha }_i{y}_i{K}_{i1}+b=y_1$$
    于是有：
    $$b_1^{new}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{21}$$
    $$b_2^{new}=-E_2-y_1{K}_{12}\left({\alpha }_1^{new}-{\alpha }_1^{old}\right)-y_2{K}_{22}\left({\alpha }_2^{new}-{\alpha }_2^{old}\right)+b^{old}$$
    如果${\alpha }_1^{new},{\alpha }_2^{new}$同时满足$0<{\alpha }_1^{new}<C,i=1,2$，则$b_1^{new}=b_2^{new}$，如果${\alpha }_1^{new},{\alpha }_2^{new}$是$0$或$C$，选择中间点作为$b^{new}$。
  • $E_i^{new}$的计算为：
    $$E_i^{new}=\sum _S{y}_j{\alpha }_{j}K\left(x_i,x_j\right)+b^{new}-y_i$$

SMO算法

• 输入：训练数据集$T$，精度$\epsilon$
• 输出：近似解$\hat{\alpha }$
• 过程
  • 取初始值${\alpha }^{\left(0\right)}=0$，令$k=0$
  • 选取优化变量${\alpha }_1^{\left(k\right)},{\alpha }_2^{\left(k\right)}$，解析求解两个变量的最优化问题，得到最优解${\alpha }_1^{\left(k+1\right)},{\alpha }_2^{\left(k+1\right)}$，更新$\alpha$为${\alpha }^{\left(k+1\right)}$
  • 若在精度$\epsilon$范围内满足下面的停止条件则进行下一步
    $$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
    $$0\le {\alpha }_i\le C,i=1,2,\cdots ,N$$
    y i ⋅ g ( x i ) = { ≥ 1 , { x i ∣ α i = 0 } = 1 , { x i ∣ 0 &lt; α i &lt; C } ≤ 1 , { x i ∣ α i = C } {y_i} \cdot g\left( {{x_i}} \right) = \left\{ \begin{array}{l} \ge 1,\left\{ {{x_i}\left| {{\alpha _i} = 0} \right.} \right\}\\ = 1,\left\{ {{x_i}\left| {0 &lt; {\alpha _i} &lt; C} \right.} \right\}\\ \le 1,\left\{ {{x_i}\left| {{\alpha _i} = C} \right.} \right\} \end{array} \right. yi​⋅g(xi​)=⎩⎨⎧​≥1,{xi​∣αi​=0}=1,{xi​∣0<αi​<C}≤1,{xi​∣αi​=C}​
    其中
    $$g\left(x_i\right)=\sum _{j=1}^N{\alpha }_j{y}_{j}K\left(x_j,x_i\right)+b$$
    否则令$k=k+1$回到上一步。
  • 取$\hat{\alpha }={\alpha }^{\left(k+1\right)}$

参考文献

《统计学习方法》