07_支持向量机3_统计学习方法

支持向量机内容特别多，为了方便阅读，分成三个部分，上接：
07_支持向量机1_统计学习方法
07_支持向量机2_统计学习方法。

五、SMO算法

KKT条件中的（k4）（k5）还没有使用过，这两个条件主要就是用来求解参数$\alpha ,\mu$的。但是对于样本数量和特征比较多的时候，这么硬干是非常耗费内存和时间的。所以在求解参数$\alpha$时，大牛们使用了更有效的方法——SMO算法（序列最小最优算法），如果没理解错的话就是化整为零，分而治之的思想。

SMO算法是一种启发式算法，其基本思路是：如果所有变量的解都满足此最优化问题的KKT条件，那么这个最优化问题的解就得到了。因为KKT条件是该最优化问题的充分必要条件。SMO思路，选择两个变量，固定其他变量，针对这两个变量构建一个二次规划问题，这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解，因为这会使得原始二次规划问题的目标函数值变得更小。重要的是，这时子问题可以通过解析方法求解，这样就可以大大提高整个算法的计算速度。子问题有两个变量，一个是违反KKT条件最严重的那一个，另一个由约束条件自动确定。如此，SMO算法将原问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。

非线性支持向量机的优化问题：
$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})-\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,N\end{array}$$

1、两个变量二次规划的求解方法

（1）定义子问题

假设选择的两个变量是${\alpha }_1,{\alpha }_2$，其他变量${\alpha }_i(i=3,4,\cdots ,N)$是固定的。于是上面非线性支持向量机的优化问题的SMO子问题可以写成：
$$\begin{array}{rl}\underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})-\sum _{i=1}^N{\alpha }_i\\ & =\frac{1}{2}\sum _{i=1}^N\left(\sum _{j=1}^2{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})+\sum _{j=3}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})\right)-({\alpha }_1+{\alpha }_2)-\sum _{i=3}^N{\alpha }_i\\ & =\frac{1}{2}\sum _{i=1}^2\left(\sum _{j=1}^2{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})+\sum _{j=3}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})\right)\\ & +\frac{1}{2}\sum _{i=3}^N\left(\sum _{j=1}^2{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})+\sum _{j=3}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})\right)-({\alpha }_1+{\alpha }_2)-\sum _{i=3}^N{\alpha }_i\\ & =\frac{1}{2}\sum _{i=1}^2\sum _{j=1}^2{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})+\sum _{i=1}^2\sum _{j=3}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})\\ & +\frac{1}{2}\sum _{i=3}^N\sum _{j=3}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})-({\alpha }_1+{\alpha }_2)-\sum _{i=3}^N{\alpha }_i\\ & =\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2}\\ & -({\alpha }_1+{\alpha }_2)-\sum _{i=3}^N{\alpha }_i+\frac{1}{2}\sum _{i=3}^N\sum _{j=3}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})\end{array}$$

上式最后两项为常数项，对于求解最优的${\alpha }_1,{\alpha }_2$毫无作用，舍去，则有SMO对于变量${\alpha }_{,}{\alpha }_2$的子问题可以写成：
$$\begin{array}{rlr}\underset{{\alpha }_1,{\alpha }_2}{\min }& W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2}-({\alpha }_1+{\alpha }_2)& (29)\\ s.t.& {\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{y}_i{\alpha }_i=\zeta & (30)\\ & 0\le {\alpha }_1\le C,i=1,2& (31)\end{array}$$

• $K_{ij}=K(x_i,x_j),i,j=1,2,\cdots ,N$
• $\zeta$是常数

（2）确定变量范围

由于只有两个变量$({\alpha }_1,{\alpha }_2)$，约束可以用二维空间中的图形表示，如下图：

二变量优化问题图示

• 不等式约束（31)使得$({\alpha }_1,{\alpha }_2)$在盒子$[0,C]\times [0,C]$内；
• 等式约束（30）使得$({\alpha }_1,{\alpha }_2)$在平行于盒子$[0,C]\times [0,C]$的对角线的直线上。

因此要求的是目标函数在一条平行于对角线的线段上的最优值。这使得两个变量的最优化问题成为实质上的单变量的最优化问题，不妨考虑为变量${\alpha }_2$的最优化问题。

假设问题（29）-（31）的初始可行解为${\alpha }_1^{old},{\alpha }_2^{old}$，最优解为${\alpha }_1^{new},{\alpha }_2^{new}$，并且假设在沿着约束方向未经剪辑时${\alpha }_2$的最优解为${\alpha }_2^{new,unc}$，${\alpha }_2$剪辑后的解为${\alpha }_2^{new}$。
${\alpha }_2^{new}$必须满足式（31），则${\alpha }_2^{new}$的取值范围必须满足：
$$L\le {\alpha }_2^{new}\le H$$

因为有式（30），则有：
$${\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2=-\sum _{i=3}^N{y}_i{\alpha }_i={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2\text{\hspace{1em}(32)}$$

• 当$y_1与y_2$异号时：
  $${\alpha }_1^{old}{y}_1{y}_2+{\alpha }_2^{old}{y}_2^2={\alpha }_1^{new}{y}_1{y}_2+{\alpha }_2^{new}{y}_2^2⟹{\alpha }_2^{new}={\alpha }_2^{old}-{\alpha }_1^{old}+{\alpha }_1^{new}$$
  又因为：
  $$0\le {\alpha }_1\le C,0\le {\alpha }_2\le C$$
  所以有：
  $$L=\max (0,{\alpha }_2^{old}-{\alpha }_1^{old}),H=\min (C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$$

• 当$y_1与y_2$同号时：
  $${\alpha }_1^{old}{y}_1{y}_2+{\alpha }_2^{old}{y}_2^2={\alpha }_1^{new}{y}_1{y}_2+{\alpha }_2^{new}{y}_2^2⟹{\alpha }_2^{new}={\alpha }_2^{old}+{\alpha }_1^{old}-{\alpha }_1^{new}$$
  所以有：
  $$L=\max (0,{\alpha }_2^{old}+{\alpha }_1^{old}-C),H=\min (C,{\alpha }_2^{old}+{\alpha }_1^{old})$$

（3）最优求解

为了方便书写，令：
$$\begin{array}{rlr}& g(x)=\sum _{j=1}^N{\alpha }_j{y}_{j}K(x,x_j)+b& (w1)\\ & {\nu }_i=\sum _{j=3}^N{\alpha }_j{y}_{j}K(x_i,x_j)=g(x_i)-\sum _{j=1}^2{\alpha }_j{y}_{j}K(x_i,x_j)-b& (w2)\\ & E_i=g(x_i)-y_i=\left(\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_i,x_j)+b\right)-y_i& (w3)\\ & \eta =K_{11}+K_{22}-2K_{12}=||\varphi (x_1)-\varphi (x_2)|{|}^2& (w4)\end{array}$$

• 当$i=1,2$时，$E_i$为函数$g(x)$对输入$x_i$的预测值与真实输出$y_i$之差。
• $\varphi (x)$是输入空间到特征空间的映射

则目标函数可以写成：
$$\begin{array}{rl}W({\alpha }_1,{\alpha }_2)& =\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2}-({\alpha }_1+{\alpha }_2)\\ & =\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2+y_1{\nu }_1{\alpha }_1+y_2{\nu }_2{\alpha }_2-({\alpha }_1+{\alpha }_2)\end{array}\text{\hspace{1em}(33)}$$

由${\alpha }_1{y}_1=\zeta -{\alpha }_2{y}_2及y_i^2=1$，可将${\alpha }_1$表示为：
$${\alpha }_1=(\zeta -y_2{\alpha }_2)y_1$$
将上式${\alpha }_1$代入目标函数（33）得到只含有${\alpha }_2$的目标函数：
$$W({\alpha }_2)=\frac{1}{2}{K}_{11}(\zeta -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}(\zeta -{\alpha }_2{y}_2){\alpha }_2+{\nu }_1(\zeta -{\alpha }_2{y}_2)+y_2{\nu }_2{\alpha }_2-(\zeta -y_2{\alpha }_2)y_1-{\alpha }_2\text{\hspace{1em}(34)}$$
上式对${\alpha }_2$求导得：
$$\frac{\partial W}{\partial {\alpha }_2}=K_{11}{\alpha }_2-K_{11}\zeta y_2+K_{22}{\alpha }_2+K_{12}\zeta y_2-2K_{12}{\alpha }_2-{\nu }_1{y}_2+y_2{\nu }_2+y_1{y}_2-1$$
令其为0，得到：
$$\begin{array}{rl}\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2& =K_{11}\zeta y_2-K_{12}\zeta y_2+{\nu }_1{y}_2-y_2{\nu }_2-y_1{y}_2+y_2^2\\ & =y_2[K_{11}\zeta -K_{12}\zeta +\left(g(x_1)-\sum _{j=1}^2{\alpha }_j{y}_j{K}_{1j}-b\right)-\left(g(x_2)-\sum _{j=1}^2{\alpha }_j{y}_j{K}_{2j}-b\right)-y_1+y_2]\end{array}$$

将$\zeta ={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2$代入得到：
$$\begin{array}{rl}\left(K_{11}+K_{22}-2K_{12}\right){\alpha }_2^{new,unc}& =y_2((K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}{y}_2+y_2-y_1+g(x_1)-g(x_2))\\ & =(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}+y2(E_1-E_2)\end{array}$$
将$\eta =K_{11}+K_{22}-2K_{12}=||\varphi (x_1)-\varphi (x_2)|{|}^2$代入得到：
$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }\text{\hspace{1em}(35a)}$$

则得到剪辑后的${\alpha }_2$的解为：
$${\alpha }_2^{new}=\{\begin{array}{ll}H,& {\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc},& L\le {\alpha }_2^{new,unc}\le H\\ L,& {\alpha }_2^{new,unc}<L\end{array}\text{\hspace{1em}(35)}$$

由${\alpha }_2^{new}$和等式约束（32）求得${\alpha }_1^{new}$是：
$${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})$$

于是得到问题（29）-（31）的解$({\alpha }_1^{new},{\alpha }_2^{new})$

（4）计算阈值b和差值E

在每次完成两个变量的优化后，都要重新计算阈值b和差值E。

阈值b更新

当$0<{\alpha }_1^{new}<C$时，由KKT条件(k3)(k6)(k8)可知：
$$\sum _{i=1}^N{\alpha }_i{y}_i{K}_{i1}+b=y_1$$
于是，
$$b_1^{new}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_1^{new}{y}_1{K}_{11}\text{\hspace{1em}(36)}$$
由$E_1$的定义有
$$E_1=\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b^{old}-y_1$$
则式（36）等号右侧的前两项可写成：
$$y_1-\sum _{i=3}^N{\alpha }_i{y}_i{K}_{i1}=-E_1+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b^{old}$$
把上式代入式（36）可得：
$$b_1^{new}=-E_1-y_1{K}_{11}（{\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{21}（{\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}\text{\hspace{1em}(37)}$$

同样，如果$0<{\alpha }_2^{new}<C$，那么，
$$b_2^{new}=-E_2-y_1{K}_{12}（{\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{22}（{\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}\text{\hspace{1em}(38)}$$

• 如果${\alpha }_1^{new},{\alpha }_2^{new}$同时满足$0<{\alpha }_i^{new}<C,i=1,2$，那么$b_1^{new}=b_2^{new}$。
• 如果${\alpha }_1^{new},{\alpha }_2^{new}$是0或者C，那么$b_1^{new},b_2^{new}$以及他们之间的数都是符合KKT条件的阈值，这时选择它们的中点作为$b^{new}$

综上可得：
$$b^{new}=\frac{b_1^{new}+b_2^{new}}{2}\text{\hspace{1em}(39)}$$

差值$E_i$更新

在每次完成两个变量的优化之后，还必须更新对应的$E_i$值，并将他们保存在列表中。$E_i$值的更新要用到$b^{new}$值，以及所有支持向量对应的${\alpha }_j$：
$$E_i^{new}=\sum _S{y}_j{\alpha }_{j}K(x_i,x_j)+b^{new}-y_i\text{\hspace{1em}(40)}$$

• S是所有支持向量$x_j$的集合。非支持向量的E值为0。

看了很多博客，其实统计学习方法里面的过程已经很完整，对其中一些过程做了补充，别看在求解时用了很多计算公式，其实里面没有很深的知识，就是变换多。

2、变量的选择方法

SMO算法在每个子问题中选择两个变量优化，其中至少一个变量是违反KKT条件的。

（1）第1个变量的选择

SMO称选择第1个变量的过程为外层循环。外层循环在训练样本中选取违反KKT条件最严重的样本点，并将其对应的变量作为第1个变量。具体的，检验训练样本点$(x_i,y_i)$是否满足KKT条件，即：
$$\begin{array}{rl}{\alpha }_i=0& ⟺y_{i}g(x_i)\ge 1\\ 0<{\alpha }_i<C& ⟺y_{i}g(x_i)=1\\ {\alpha }_i=C& ⟺y_{i}g(x_i)\le 1\end{array}$$

• $g(x_i)={\sum }_{j=1}^N{\alpha }_j{y}_{j}K(x_i,x_j)+b$

该检验是在精度$ϵ$范围内进行的，即在精度$ϵ$范围内的点不选用。

• 在检验过程中，外层循环首先遍历所有满足条件$0<{\alpha }_i<C$的样本点，即在间隔边界上的支持向量点，检验它们是否满足KKT条件。
• 如果这些点都满足KKT条件，那么就遍历整个训练集，检验它们是否满足KKT条件。

（2）第2个变量的选择

SMO称选择第2个变量的过程为内层循环。假设在外层循环中已经找到第1个变量${\alpha }_1$，现在要在内层循环中找到第2个变量${\alpha }_2$。第2个变量选择的标准是希望能使${\alpha }_2$有足够大的变化。

由式（35a）（35）可知，${\alpha }_2^{new}$是依赖于$|E_1-E_2|$的，为了加快计算速度，一种简单的做法是选择${\alpha }_2$，使其对应的$|E_1-E_2|$最大。因为${\alpha }_1$已定，$E_1$也确定了。

• 如果$E_1$是正的，那么选择最小的$E_i$作为$E_2$；
• 如果$E_1$是负的，那么选择最大的$E_i$作为$E_2$；
• 为了节省计算时间，将所有$E_i$值保存在一个列表中。

在特殊情况下，如果内层循环通过以上方法选择的${\alpha }_2$不能使目标函数有足够的下降，那么采用以下启发式规则继续选择${\alpha }_2$。

• 遍历在间隔边界上的支持向量点，依次将其对应的变量作为${\alpha }_2$试用，直到目标函数有足够的下降；
• 若找不到合适的${\alpha }_2$，那么遍历训练数据集；
• 若仍找不到合适的${\alpha }_2$，则放弃第1个${\alpha }_1$，再通过外层循环寻找另外的${\alpha }_1$。

3、SMO算法

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T = \{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中， x i ∈ R n ,   y i ∈ { − 1 , + 1 } ,   i = 1 , 2 , ⋯ &ThinSpace; , N x_i \in {\bf R}^n,\space y_i \in \{-1,+1\},\space i =1,2,\cdots,N xi​∈Rn, yi​∈{−1,+1}, i=1,2,⋯,N，精度$ϵ$；

输出：近似解$\hat{\alpha }$，由于给算法设置了一个精度$ϵ$，所以最终求得是近似解。

（1）取初值${\alpha }^{(0)}=0$，令$k=0$；

（2）选取优化变量${\alpha }_1^{(k)},{\alpha }_2^{(k)}$，解析求解两个变量的最优化问题（29）（31），求得最优解${\alpha }_1^{(k+1)},{\alpha }_2^{(k+1)}$，更新$\alpha$为${\alpha }^{(k+1)}$；

（3）若在精度$ϵ$范围内满足停机条件：
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$0\le {\alpha }_i\le C,i=1,2,\cdots ,N$$
y i ⋅ g ( x i ) = { ≥ 1 , { x i ∣ α i = 0 } = 1 , { x i ∣ 0 &lt; α i &lt; C } ≤ 1 , { x i ∣ α i = C } y_i \cdot g(x_i) = \begin{cases} \geq 1, &amp; \{x_i|\alpha_i = 0\} \\[2ex] = 1, &amp; \{x_i|0 &lt; \alpha_i &lt; C \} \\[2ex] \leq 1, &amp; \{x_i|\alpha_i = C\} \end{cases} yi​⋅g(xi​)=⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧​≥1,=1,≤1,​{xi​∣αi​=0}{xi​∣0<αi​<C}{xi​∣αi​=C}​

• $g(x_i)={\sum }_{j=1}^N{\alpha }_j{y}_{j}K(x_i,x_j)+b$

则转（4）；否则令$k=k+1$，转（2）；

（4）取$\hat{\alpha }={\alpha }^{(k+1)}$。

对于深入研究支持向量机之前，看了一眼书，这个算法占的篇幅最大，公式最多，难度应该不一般。研究下来确实不一般，花费六天，每天至少5小时，最终下来感觉还算是比较了解了。其实支持向量机的模型和策略都很简单，模型就是一个超平面，策略就是最大化分类间隔，解决的问题从线性可分到线性近似可分，再到非线性可分；然后就是算法，对最终最优化问题的求解，为了求解快速、少占内存，有大牛发明了SMO算法（序列最小最优算法）。

如果是想研究支持向量机可以按我上面的总结看下来绝对没问题，大致内容和李航的统计学方法一致，我对中间涉及的一些数学知识做了一定补充，这也是我这篇博客与课本差别之一，对一些难以理解的地方详细展开和知识补充。这篇总结涉及的知识点很多，若有不正确的地方还望指出，以免误导他人。

之前的学习的几个算法都是搞懂再来做总结，支持向量机知识点太多，一下全部搞懂挺难的，是知道一点就总结一点，遇到过不去的就停下来找博客，看别人的讲解，就这样把难点逐个击破，然后整个算法也就总结完了。这也相当于应用了SMO算法的思想，化整为零，逐个击破，每一个算法都是智慧的结晶。

参考资料：

• 统计学习方法—李航
• 从KKT条件下的拉格朗日乘法到拉格朗日对偶问题
• 机器学习实战教程（八）
• 以及文中链接

$\ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast \ast$
未完待续