最全面的SVM介绍（从拉格朗日对偶到SMO算法）

  SVM主要用来处理二分类问题，其也可用以用来解决多分类问题与回归问题，只不过不常用。其目标是找到一个最优的分隔平面，来使得不同类别之间的距离最大化。核心思想是将问题转化成凸二次规划求解的问题。

一、拉格朗日对偶变换

  想要搞清楚SVM问题是如何进行转化的，首先就要搞清楚什么是拉格朗日对偶变换，我们这里简要的叙述一下。其核心思想是将求解最优问题转化成为相对容易求解的问题。

原始问题
假设我们研究的优化问题如下：

      $Minimize{f}_0(x)$

    s . t . f i ( x ) ≤ 0 i = { 1 , . . . , K } s.t.\quad f_i(x)\le 0\quad \quad i= \{1,...,K\} s.t.fi​(x)≤0i={1,...,K}
​       g j ( x ) = 0 j = { 1 , . . . , L } g_j(x)= 0\quad \quad j= \{1,...,L\} gj​(x)=0j={1,...,L}

同时我们假设满足约束条件的最优解为$x^{\ast }$，$p^{\ast }=f_0(x^{\ast })$

极小极大问题
那么根据拉格朗日函数我们可以构造出：
$$L(x,\alpha ,\beta )=f_0(x)+\sum _{i=1}^K{\alpha }_i{f}_i(x)+\sum _{j=1}^L{\beta }_j{g}_j(x)\alpha \ge 0$$

拉格朗日函数是一个关于$x,\alpha$和$\beta$的函数，其中$x$是原问题的自变量，$\alpha ,\beta$被称为拉格朗日乘子，是标量。

其中$f_0(x)$是原优化问题的目标函数，$f_i(x)$为原优化问题的不等式约束项，$g_i(x)$为原问题的等式约束项。

我们构造函数${\theta }_p(x)$如下：
$${\theta }_p(x)=\underset{\alpha ,\beta }{\max }L(x,\alpha ,\beta )$$

假设存在违反约束条件的样本$x$，即存在某个$i$使得$f_i(x)>0$或者$g_i(x)\ne 0$，如果$f_i(x)>0$，那么我们可以使得${\alpha }_i$的取值为$+\infty$,那么${\theta }_p(x)$的取值也为$+\infty$；如果$g_i(x)\ne 0$，同理我们使得${\beta }_i$为$+\infty$，${\theta }_p(x)$的取值同样为$+\infty$。即：
$${\theta }_p(x)=\underset{\alpha ,\beta }{\max }[f_0(x)+\sum _{i=1}^K{\alpha }_i{f}_i(x)+\sum _{j=1}^L{\beta }_j{g}_j(x)]=+\infty$$
但如果样本$x$满足约束条件，即$f_i(x)\le 0$并且$g_i(x)=0$，那么当${\alpha }_i$的取值为0时，使得${\theta }_p(x)=f_0(x)$，即：
$${\theta }_p(x)=\underset{\alpha ,\beta }{\max }[f_0(x)+\sum _{i=1}^K{\alpha }_i{f}_i(x)+\sum _{j=1}^L{\beta }_j{g}_j(x)]=f_0(x)$$
因此我们可以得到：
$${\theta }_p(x)=\{\begin{array}{rcl}+\infty & & x不满足原始约束条件\\ f_0(x)& & 否则\end{array}$$
因此：
$$p^{\ast }=\underset{x}{\min }{f}_0(x)=\underset{x}{\min }{\theta }_p(x)=\underset{x}{\min }\underset{\alpha ,\beta }{\max }L(x,\alpha ,\beta )$$
被称为广义拉格朗日函数的极小极大问题。

极大极小问题
我们构造函数$\theta (\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$，同时令：
$$d^{\ast }=\underset{\alpha ,\beta }{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$
称为原始问题的对偶问题，其中

$$d^{\ast }\le p^{\ast }$$
被称为弱对偶，是一定成立的，感兴趣的可以自己找一下统计学原理看看推导过程，这里就不进行推导了。

当满足一定情况时，$d^{\ast }=p^{\ast }$，我们称其为强对偶。

  对于原始问题及其对偶问题，假设函数 $f_0(x)$和$f_i(x)$ 是凸函数， $g_i(x)$是仿射函数，且不等式约束$f_i(x)$是严格可行的，即存在$x$ ，对所有$f_i(x)$有$f_i(x)\le 0$ ，则存在$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$ ，使 $x^{\ast }$是原始问题的解， ${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的解的充分必要条件是 $x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足下面的Karush-Kuhn-Tucker(KKT)条件：
$$\frac{\partial L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })}{\partial x_i}=0,i=1,...d$$$$\frac{\partial L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })}{\partial {\beta }_i}=0,i=1,...,l$$$${\alpha }_i{f}_i(x^{\ast })=0,i=1,...,k$$$$f_i(x^{\ast })\le 0,i=1,...,k$$$${\alpha }_i\ge 0,i=1,...,k$$

二、经典的SVM

  经典的SVM主要用来处理线性可分的问题。如图所示，对于两类样本点，我们期望找到一条合适的分隔线，使其到两个类别支撑向量的距离最大，同时，到两个支撑向量的距离相同。

  这里由于分隔线到两条支撑向量的距离相同，而且分隔线函数为$wx+b=0$，因此我们不妨设两条支撑向量的函数分别为$wx+b=1$和$wx+b=-1$。因此我们可以得到:
$$(w^T{x}_1+b)-(w^T{x}_2+b)=2$$$$w^T(x_1-x_2)=2$$
向量$a$与向量$b$的内积可以看做$a$的模与$b$在$a$方向上投影的乘积，即$$a\cdot b=||a||{|}_2|b|{|}_2\cos \theta$$
因此我们可以的得到：
$$||w|{|}_2||x_1-x_2|{|}_2\cos \theta =2$$$$||x_1-x_2||\cos \theta =\frac{2}{||w|{|}_2}=d_1+d_2$$
我们的目的是使得两个支撑向量之间的距离$d$达到最大，即:
$$\underset{w,b}{\max }\frac{2}{||w|{|}_2}$$
按照机器学习求最小的习惯，将其转化成最小值问题，我们求$\min ||w|{|}^2$的效果是一样的

同时对于这里的二分类问题，我们假设其标签为1或-1，因此对于在支撑向量上的点，满足$y^{(i)}(w^T{x}^{(i)}+b)=1$，对于不在支撑向量上的点，其一定满足$y^{(i)}(w^T{x}^{(i)}+b)\ge 1$，因此我们的到最后的目标函数：
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$$

                    $s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge 1,i=1,...,n$

为了满足拉格朗日对偶变换，我们可以将约束条件写为：

​ $$g_i(w)=-y^{(i)}(w^T{x}^{(i)}+b)+1\le 0$$

将问题构造成拉格朗日函数为：

​ $$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i[y^{(i)}(w^T{x}^{(i)}+b)-1]$$

由于这里原函数为凸函数，同时其限制条件为线性函数也为凸函数，因此我们可以将其进行KKT条件的构造，转化成对偶问题：
$${\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^n{\alpha }_i{y}^{(i)}{x}^{(i)}=0$$可得：$$w=\sum _{i=1}^n{\alpha }_i{y}^{(i)}{x}^{(i)}$$$${\nabla }_{b}L(w,b,\alpha )=\sum _{i=1}^n{\alpha }_i{y}^{(i)}=0$$
我们将$w$打带入拉格朗日化的原问题可得：
$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}{w}^{T}w-w^T\sum _{i=1}^n{\alpha }_i{y}^{(i)}{x}^{(i)}-b\sum _{i=1}^n{\alpha }_i{y}^{(i)}+\sum _{i=1}^n{\alpha }_i\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}{x}^{(i)}(x^{(j)}{)}^T\end{array}$$

此时问题就转变成了关于$\alpha$的函数，构造dual得：
$$\underset{\alpha }{\max }W(\alpha )=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}{x}^{(i)}(x^{(j)}{)}^T$$                  $s.t.{\alpha }_i\ge 0,i=1,..,n$

                     $\sum _{i=1}^n{\alpha }_i{y}^{(i)}=0$

同时其要满足KKT条件如下：
$${\alpha }_i{g}_i(w^{\ast })=0,i=1,...,k$$$$g_i(w^{\ast })\le 0,i=1,...,k$$

由于该问题为二次规划问题，所以一定存在最优解$\alpha \ast =({\alpha }_1^{\ast },...,{\alpha }_n^{\ast })$，那么就可以计算原始问题的最优解$w^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}^{(i)}{x}^{(i)}$，同时如果${\alpha }_i^{\ast }\ne 0$的话，那么根据KKT条件，$-y^{(i)}(w^T{x}^{(i)}+b)+1=0$，其中 y ∈ { 1 , − 1 } y\in\{1,-1\} y∈{1,−1},因此可得$b^{\ast }=y^{(i)}-\sum _{i=1}^n{\alpha }_i^{\ast }{y}^{(i)}{x}^{(i)}$。

训练结束之后，每来一个新的数据$x$我们便可以对其进行预测：
$$\begin{array}{rl}y& =sign(w^{T}x+b)\\ & =sign((\sum _{i=1}^n{\alpha }_i{y}^{(i)}{x}^{}(i){)}^{T}x+b)\\ & =sign(\sum _{i=1}^n{\alpha }_i{y}^{(i)}<x^{(i)},x>+b)\end{array}$$
其中$sign$为阶跃函数：
$$sign(x)=\{\begin{array}{rcl}1& & x>0\\ 0& & x=0\\ -1& & x<0\end{array}$$
这里看似每来一个数据，要计算其分类需要同所有样本数据进行一次计算，但实际上有KKT条件的约束：
$${\alpha }_i{g}_i(w^{\ast })=0,i=1,...,k$$
根据支持向量机的定义我们可以知道，大部分数据点都位于支撑线以内，即$g_i(w)=0$，因此其${\alpha }_i=0$，因此我们只需要记住支撑向量上有限几个${\alpha }_i$不等于0的点进行预测即可，大大缩短了预测所需的计算量。

三、带松弛变量的SVM

  在实际应用中，完全线性可分的情况往往很少，那么我们应该怎么处理一些异常点呢？有一种思路就是放宽其区分的条件，我们称之为软间隔。

  我们允许少数出现$y^{(i)}(w^T{x}^{(i)}+b)<1$的情况出现，但是我们应该放宽达到什么地步，我们为每一个样本引入松弛变量${\xi }_i$来进行控制，其中${\xi }_i\ge 0$，$C$是一个大于零的常数，可以理解为对错误样本的惩罚程度，可以类比正则项中的正则系数。此时我们的目标函数就变成了：
$$\underset{w}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i$$                     $s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge 1-{\xi }_i,i=,...,n$

                       ${\xi }_i\ge 0,i=1,...,n$

同样我们将原问题进行拉格朗日化变为：
$$\underset{w,b,\xi }{\min }\underset{\alpha ,\beta }{\max }L(w,b,\xi ,\alpha ,\beta )=\underset{w}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i[y^{(i)}(w^T{x}^{(i)}+b)+{\xi }_i-1]-\sum _{i=1}^n{\beta }_i{\xi }_i$$                        $s.t.{\alpha }_i\ge 0,{\beta }_i\ge 0$

其对偶问题为：
$$\underset{\alpha ,\beta }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\beta )$$
满足以下KKT条件：
$${\nabla }_{w}L(w,b,\xi ,\alpha ,\beta )=w-\sum _{i=1}^n{\alpha }_i{y}^{(i)}{x}^{(i)}=0$$可得：$$w=\sum _{i=1}^n{\alpha }_i{y}^{(i)}{x}^{(i)}$$$${\nabla }_{b}L(w,b,\xi ,\alpha ,\beta )=\sum _{i=1}^n{\alpha }_i{y}^{(i)}=0$$$${\nabla }_{{\xi }_i}L(w,b,{\xi }_i,\alpha ,\beta )=C-{\alpha }_i-{\beta }_i=0$$
将以上得到的三个条件带入拉格朗日化的函数可得：
$$\begin{array}{rl}\underset{\alpha }{\max }L(w,b,\xi ,\alpha ,\beta )& =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}<x^{(i)},x^{(j)}>\\ s.t.& 0\le {\alpha }_i\le C\\ & \sum _{i=1}^n{\alpha }_i{y}^{(i)}=0\end{array}$$
同时其满足KKT条件如下：
$$1-{\xi }_i-y^{(i)}(w^T{x}^{(i)}+b)\le 0$$$${\alpha }_i[1-{\xi }_i-y^{(i)}(w^T{x}^{(i)}+b)]=0$$$$C-{\alpha }_i-{\beta }_i=0$$$${\xi }_i\ge 0$$$${\beta }_i{\xi }_i=0$$

此时我们可以针对${\alpha }_i$不同的取值进行讨论：

• 如果${\alpha }_i=0$，可得${\beta }_i=C\ne 0$，因此${\xi }_i=0$，$y^{(i)}(w^T{x}^{(i)}+b)\ge 1$，说明样本点$x$落在分隔边界上或者分隔边界外并且被分类正确，不是支撑向量

• 如果$0<{\alpha }_i<C$，那么${\beta }_i\ne 0，{\xi }_i=0$，此时$1-{\xi }_i-y^{(i)}(w^T{x}^{(i)}+b)=0$，因此可得$y^{(i)}(w^T{x}^{(i)}+b)=1$，所以此时的样本点落在最大分隔边界上，是支撑向量

• 如果${\alpha }_i=C$，此时${\beta }_i=0$，此时${\xi }_i$的取值就变得不一定，但一定是大于等于0的，同时$1-{\xi }_i-y^{(i)}(w^T{x}^{(i)}+b)=0$，所以可得$y^{(i)}(w^T{x}^{(i)}+b)\le 1$。

  • 如果$0\le {\xi }_i<1$，此时$y^{(i)}(w^T{x}^{(i)}+b)=1-{\xi }_i>0$,说明此时的样本点位于最大分隔边界内部并且分类正确。
  • 如果${\xi }_i=1$，此时$y^{(i)}(w^T{x}^{(i)}+b)=1-{\xi }_i=0$，说明此时样本点位于分隔平面上，无法进行正确的分类。
  • 如果${\xi }_i>1$，此时$y^{(i)}(w^T{x}^{(i)}+b)=1-{\xi }_i<0$，说明此时样本点分类错误

四、带核函数的SVM

  使用带核函数的SVM主要用来处理线性不可分的情况，已经不是单纯的处理部分异常值的问题。下面的左图很明显不可能靠一条线性的线来讲两个类别给区分开，只能是如右图所示将其映射至高维空间。

  假设原来的样本点为$x$，我们射映射后的样本点为$\varphi (x)$，那么其分割的超平面可以表示为$w\varphi (x)+b$，其对偶问题就变成了：
$$\begin{array}{rl}\underset{\alpha }{\max }L(w,b,\xi ,\alpha ,\beta )& =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}<\varphi (x^{(i)}),\varphi (x^{(j)})>\\ s.t.& 0\le {\alpha }_i\le C\\ & \sum _{i=1}^n{\alpha }_i{y}^{(i)}=0\end{array}$$

核函数的作用

  我们假设$K(x^{(i)},x^{(j)})$为核函数，其可以代替$<\varphi (x^{(i)}),\varphi (x^{(j)})>$来进行相同的运算。原始向量映射至高纬空间再进行点积运算是一件十分繁琐的事情，而使用核函数使得我们无需进行这一步骤，以另一种方式达到同样的效果，省去大量计算，下面将举例说明：

我们假设原始数据为

                  $x_i=[x_{i1}{x}_{i2}]x_j=[x_{j1}{x}_{j2}]$
我们想要实现$<x_i,x_j{>}^2$的功能：
$$\begin{array}{rl}K(x_i,x_j)& =<x_i,x_j{>}^2\\ & =(x_{i1}{x}_{j1}+x_{i2}{x}_{j2}{)}^2\\ & =(x_{i1}^2{x}_{j1}^2+x_{i2}^2{x}_{j2}^2+2x_{i1}{x}_{j1}{x}_{i2}{x}_{j2})\\ & =<\varphi (x_1),\varphi (x_2)>\end{array}$$
                  $\varphi (x_i)=[x_{i1}^2,x_{i2}^2,\sqrt{2}{x}_{i1}{x}_{i2}]$
                  $\varphi (x_j)=[x_{j1}^2,x_{j2}^2,\sqrt{2}{x}_{j1}{x}_{j2}]$

可见使用核函数无需将数据映射至高维，大大简化了计算的过程。

核函数的要求

$Gram$矩阵：

​ $$G_{ij}=K(x_i,x_j)$$

如果$Gram$矩阵为对称矩阵并且为半正定矩阵，那么$K(x_i,x_j)$可以成为核函数。

常见的核函数

①多项式核函数 POLY

$K(x_i,x_j)=(<x_i,x_j>+c{)}^d$

• $c\ge 0$控制低阶项的强度
• 特殊情况，当$c=0,d=1$时就是线性核，跟无核一样

②高斯核函数 RBF

$K(x_i,x_j)=exp(-\frac{||x_i-x_j|{|}_2^2}{2{\sigma }^2})$

• 当$x_i=x_j$，值为1，当$x_i与x_j$距离增加，值倾向于0，使用高斯核函数之前需要将特征正规划

• 相当于做一个高维空间的高斯分布映射，$\sigma$越大，则正态分布的曲线越舒缓。

• 使用高斯核之前需要将数据进行正规化
  

五、将SVM扩展到支持多个类别

①OVR

  对于K个类别的情况，训练K个SVM,第j个SVM用于判断任意条数据是属于类别j还是属于类别非j.预测的时候，具有最大值的$w_i^{T}x+b_i$表示给定的数据$x$属于类别$i$.

②OVO

  对于K个类别的情况，训练$K\ast (K-1)/2$个SVM,每一个SVM只用于判读任意条数据是属于K中的特定两个类别。预测的时候，使用$K\ast (K-1)/2$个SVM做$K\ast (K-1)/2$次预测，使用计票的方式决定数据被分类为哪个类别的次数最多，就认为数据$x$属此类别。

六、SVM的求解

  经过对偶变换，我们将原始问题转化成了关于求解${\alpha }^{\ast }$的问题：
$$\begin{array}{rl}\underset{\alpha }{\min }L(w,b,\xi ,\alpha ,\beta )& =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}K(x^{(i)},x^{(j)})-\sum _{i=1}^n{\alpha }_i\\ s.t.& 0\le {\alpha }_i\le C\\ & \sum _{i=1}^n{\alpha }_i{y}^{(i)}=0\end{array}$$
  这里最优解${\alpha }^{\ast }$是$n$维的，直接求解在$n$过大的情况下并不能完成，因此我们可以采用坐标轮换法的思想：

其原理就是对于高维的$x$寻找最优解的过程转化为一系列低纬的$x_i$分量求解过程，利用梯度下降的方法，在各自的维度上依次寻找最优解，最终可以达到相同的效果。

  关于SVM求解我们使用较多的是SMO算法，其就是采用了坐标轮换法的思想，下面将进行介绍：

如果我们每次只选择更新一个参数${\alpha }_i$，那么他势必会打破$\sum _{i=1}^n{\alpha }_i{y}^{(i)}=0$的约束条件，因此SMO算法每次针对两个参数进行更新${\alpha }_1和{\alpha }_2$，这两个参数满足：$${\alpha }_1{y}^{(1)}+{\alpha }_2{y}^{(2)}=-\sum _{k=3}^n{\alpha }_k{y}^{(k)}$$
我们不妨设$-\sum _{k=3}^n{\alpha }_k{y}^{(k)}$为一个固定的常数$\zeta$，那么我们可以得到$${\alpha }_1{y}^{(1)}+{\alpha }_2{y}^{(2)}=\zeta$$
因此我们可以得到$${\alpha }_1=\zeta y^{(1)}-{\alpha }_2{y}^{(2)}{y}^{(1)}$$

求解过程

1.先求得未限制范围的${\alpha }_2^{new,unc}$

下面介绍${\alpha }_2^{new,unc}$的求解过程：

记：$g(x)=\sum _{i=1}^n{\alpha }_i{y}_{i}K(x_i,x)+b$

令：$E_i=g(x_i)-y_i=(\sum _{j=1}^n{\alpha }_j{y}_{j}K(x_j,x_i)+b)-y_i$

引入：$$v_i=\sum _{j=3}^n{\alpha }_j{y}_{j}K(x_i,x_j)=g(x_i)-\sum _{j=1}^2{\alpha }_j{y}_{j}K(x_i,x_j)-b$$
目标函数：
$$W(\alpha )=\underset{\alpha }{\min }L(w,b,\xi ,\alpha ,\beta )=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}K(x^{(i)},x^{(j)})-\sum _{i=1}^n{\alpha }_i$$
$$W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{\alpha }_1^2{K}_{11}+\frac{1}{2}{\alpha }_2^2{K}_{22}+{\alpha }_1{\alpha }_2{y}_1{y}_2{K}_{12}+y_1{v}_1{\alpha }_1+y_2{v}_2{\alpha }_2-({\alpha }_1+{\alpha }_2)+O$$
这里$O$为其他无关常数项，对结果没什么影响，一会儿我们直接省去

前面我们已经说明过${\alpha }_1=\zeta y^{(1)}-{\alpha }_2{y}^{(2)}{y}^{(1)}$，因此我们将${\alpha }_1$替换掉得到：
$$W({\alpha }_2)=\frac{1}{2}(\zeta -{\alpha }_2{y}_2{)}^2{K}_{11}+\frac{1}{2}{\alpha }_2^2{K}_{22}+(\zeta -{\alpha }_2{y}_2){\alpha }_2{y}_2{K}_{12}+v_1(\zeta -{\alpha }_2{y}_2)+y_2{v}_2{\alpha }_2-[(\zeta y_1-{\alpha }_2{y}_2{y}_1)+{\alpha }_2]$$
此时函数里只剩下${\alpha }_2$一个未知项，我们对其求导得：
$$\frac{\delta W}{\delta {\alpha }_2}=K_{11}{\alpha }_2+K_{22}{\alpha }_2-2K_{12}{\alpha }_2-K_{11}\zeta y_2+K_{12}\zeta y_2+y_1{y}_2-1-v_1{y}_2+v_2{y}_2$$
令其等于0得：
$$\begin{array}{rl}(K_{11}+K_{22}-2K_{12}){\alpha }_2& =y_2(y_2-y_1+\zeta K_{11}-\zeta K_{12}+v_1-v_2)\\ & =y_2[y_2-y_1+\zeta K_{11}-\zeta K_{12}+(g(x_1)-\sum _{j=1}^2{\alpha }_j{y}_j{K}_{1j}-b)-(g(x_2)-\sum _{j=1}^2{\alpha }_j{y}_j{K}_{2j}-b)]\end{array}$$
我们令$\eta =(K_{11}+K_{22}-2K_{12})$

我们将$\zeta ={\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2$代入式子得：
$$\begin{array}{rl}(K_{11}+K_{22}-2K_{12}){\alpha }_2^{new,unc}& =y_2[E_1-E_2+{\alpha }_2^{old}(K_{11}+K_{22}-2K_{12})]\\ & \\ {\alpha }_2^{new,unc}& ={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }\end{array}$$
2.求限制范围后的${\alpha }_2^{new}$
其中$${\alpha }_2^{new}=\{\begin{array}{rcl}H& & {\alpha }_2^{new,unc}>H\\ & & \\ {\alpha }_2^{new,unc}& & L\le {\alpha }_2^{new,unc}\le H\\ & & \\ L& & {\alpha }_2^{new,unc}<L\end{array}$$
这里我们的${\alpha }_2^{new}$是满足一定的约束关系的，$0\le {\alpha }_i\le C$，同时由于${\alpha }_1{y}^{(1)}+{\alpha }_2{y}^{(2)}=\zeta$，注意这里 y ( i ) ∈ { 1 − , 1 } y^{(i)}\in\{1-,1\} y(i)∈{1−,1}我们做下面两种假设：

• $y^{(1)}$与$y^{(2)}$同号，此时我们可以得到${\alpha }_1+{\alpha }_2=k$，${\alpha }_2=k-{\alpha }_1$，因为${\alpha }_1\in [0,C]$，所以${\alpha }_2\in [-C+k,k]$，又因为$k={\alpha }_1+{\alpha }_2$，可得${\alpha }_2\in [{\alpha }_1+{\alpha }_2-C,{\alpha }_1+{\alpha }_2]$

  因此可以得到$$L\le {\alpha }_2^{new}\le H$$$$L=max(0,{\alpha }_1^{old}+{\alpha }_2^{old}-C),H=min(C,{\alpha }_1^{old}+{\alpha }_2^{old})$$

• $y^{(1)}$与$y^{(2)}$异号，此时我们可以得到${\alpha }_1-{\alpha }_2=k$，因此可以得到${\alpha }_2={\alpha }_1-k$，因为${\alpha }_1\in [0,C]$，所以${\alpha }_2\in [-k,C-k]$，又因为$k={\alpha }_1-{\alpha }_2$，所以${\alpha }_2\in [{\alpha }_2-{\alpha }_1,C+{\alpha }_2-{\alpha }_1]$

  因此可以得到$$L\le {\alpha }_2^{new}\le H$$$$L=max(0,{\alpha }_2^{old}-{\alpha }_1^{old}),H=min(C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$$

3.得到${\alpha }_1^{new}$的解

根据$${\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2$$
我们可以求得$${\alpha }_1^{new}={\alpha }_1^{old}+y_1{y}_2({\alpha }_2^{old}-{\alpha }_2^{new})$$
4.更新参数$b$和$E_i$

  前面我们已经证明，如果$0\le {\alpha }_1^{new}\le C$，那么${\alpha }_1^{new}$为支持向量，我们可以利用它来更新参数$b$
$$\sum _{i=1}^n{\alpha }_i{y}_i{K}_{i1}+b=y_1$$$$b_1^{new}=y_1-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_1{K}_{12}-\sum _{i=3}^n{\alpha }_i{y}_i{K}_{i1}$$$$E_i^{new}=(\sum _S{\alpha }_j{y}_{j}K(x_j,x_i)+b^{new})-y_i$$
其中$S$为所有支撑向量的集合

变量的启发式选择

  对于SMO算法，我们每次选择两个样本进行更新，那么其中至少有一个是要违反KKT条件的。
1.第一个变量的选择

• 违反KKT最严重的样本点，
• 检验样本点是否满足KKT条件
  $${\alpha }_i=0\Rightarrow y_i{g}_x(x)\ge 0$$$$0<{\alpha }_i<C\Rightarrow y_i{g}_x(x)=0$$$${\alpha }_i=C\Rightarrow y_i{g}_x(x)\le 1$$
  其中当$0<{\alpha }_i<C$时，对应点为支撑点，如果不满足KKT条件，对原始问题影响最大，所以我们一般选择$0<{\alpha }_i<C$并且$y_i{g}_x(x)\ne 0$的点作为外循环

2.第二个变量的选择

  我们的目的是希望目标函数能够有足够大的变化，即对应的$|E_1-E_2|$最大，是目标函数下降的最快

• 如果内循环通过上述方法找到的点不能使目标函数有足够的下降，则：
  • 遍历间隔边界上的样本点，测试目标函数下降
  • 如果下降不大，则遍历所有样本点
  • 如果依然下降不大，则丢弃外循环点，重新选择

七、关于凸函数的补充

凸函数的定义

①其定义域为凸集
  假设对于任意 $x,y\in C$并且任意参数$\alpha \in [0,1]$，我们有$\alpha x+(1-\alpha )y\in C$，(即两点之间的任何一点都在定义域内)则集合为凸集。

其中1为凸集，2、3不是
②函数定义域为凸集，对于定义域里的任意$x,y$满足

​ $$f(\theta x+(1-\theta )y)<=\theta f(x)+(1-\theta )f(y)$$

凸函数的判定方法

  对于一元函数$f(x)$，我们可以通过其二阶导数$f″(x)$ 的符号来判断。如果函数的二阶导数总是非负，即$f\prime \prime (x)\ge 0$f″ ，则$f(x)$是凸函数

  对于多元函数$f(X)$，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是$f(X)$凸函数

常见的凸函数

• 线性函数为凸/凹函数

• $expx,-logx,xlogx$ 是凸函数

• 范数为凸函数

  范数

  $||w|{|}_1=|w_1|+|w_2|+...+|w_n|$

  $||w|{|}_2=\sqrt[2]{w_1^2+w_2^2+...+w_n^2}$

  $||w|{|}_p=\sqrt[p]{w_1^p+w_2^p+...+w_n^p}$

• $\frac{x^{T}x}{t}$为凸函数（$x>0$）