SVM(二):对偶算法、SMO算法

拉格朗日乘子法
在学习对偶算法之前，首先我们需要了解一点数学知识——拉格朗日乘子法。它和高数中的拉格朗日乘数法很类似，都用于最优化的求解。不同的点是乘数法用于限制条件为等式的情况，而乘子法用于限制条件为不等式的情况。下面我们介绍一下两种方法，侧重点放在乘子法上面。

1、拉格朗日乘数法——等式约束

下面简单介绍下拉格朗日乘数法。
设给定二元函数z=ƒ(x,y)和附加条件φ(x,y)=0，为寻找z=ƒ(x,y)在附加条件下的极值点。

1. 先做拉格朗日函数F(x,y,λ)=f(x,y)+λφ(x,y) ，其中λ为参数。
2. 令F(x,y,λ)对x和y和λ的一阶偏导数等于零,得到
       $F_x^{\prime }={ƒ}_x^{\prime }(x,y)+\lambda {\phi }_x^{\prime }(x,y)=0$
     $F_y^{\prime }={ƒ}_y^{\prime }(x,y)+\lambda {\phi }_y^{\prime }(x,y)=0$
     $F_{\lambda }^{\prime }=\phi (x,y)=0$
3. 由上述方程组解出x,y及λ，如此求得的(x,y)，就是函数z=ƒ(x,y)在附加条件φ(x,y)=0下的可能极值点。若这样的点只有一个，由实际问题可直接确定此即所求的点。

2、拉格朗日乘子法——不等式约束

目标函数f(x)，不等式约束g(x)，有的教程会添加上等式约束条件h(x)=0。
此时最优化问题描述如下：
$$\begin{gathered} minf(x) \\ s.t.g_i(x)⩽0;h_i(x)=0\text{\hspace{1em}(2.1)} \end{gathered}$$

定义不等式约束下的拉格朗日函数L：
$$L(x,\lambda ,\mu )=f(x)+\sum _1^p{\lambda }_i{g}_i(x)+\sum _1^q{\mu }_j{h}_j(x)\text{\hspace{1em}(2.2)}$$

其中λ和μ叫做乘子，也是分别是g(x)和h(x)的约束系数。

---

学习的对偶算法
为了求解线性可分支持向量机的最优化问题，将它作为原始的最优化问题，应用拉格朗日对偶性，通过求解对偶问题(dual problem)得到原始问题的最优解,这就是线性可分支持向量机的对偶算法(dual algorithm)。
网页链接：拉格朗日对偶性
首先，我们来回顾一下原始的最优化问题，即原始问题：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}_i+b)⩾1,i=1,2,\dots \dots ,m\text{\hspace{1em}(2.3)} \end{gathered}$$

根据上面的拉格朗日乘子法介绍来看，我们需要的约束函数是$g(x)⩽0$，因此我们将原始问题的约束条件改为$s.t.1-y_i(w^T{x}_i+b)⩽0$。然后，对上式中的约束添加拉格朗日乘子${\alpha }_i⩾0$我们可以得到不等式约束条件下的拉格朗日函数L：
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i[1-y_i(w^T{x}_i+b)]\text{\hspace{1em}(2.4)}$$

因为${\alpha }_i⩾0$,且$1-y_i(w^T{x}_i+b)⩽0$。显然有:
$$\underset{\alpha }{\max }L(w,b,\alpha )=\frac{1}{2}||w|{|}^2\text{\hspace{1em}(2.5)}$$

因此原始问题$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$可以写成：
$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )==>\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )\text{\hspace{1em}(2.6)}$$此时我们就得到了原始问题的对偶问题 $\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$。

---

对偶问题的求解
首先，我们先看内层的最优化问题，即$\underset{w,b}{\min }L(w,b,\alpha )$。
用L(w,b,α)分别对w,b进行求导，令=0，得到下面两个式子:
        $w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$
        $0=\sum _{i=1}^m{\alpha }_i{y}_i$
将上面两个公式带入$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$中，可以消去w和b(具体过程省略，可自行推导，较简单)，得到下面的公式：
$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_{j}s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0;{}_i⩾0,i=1,2,\dots ,m\text{\hspace{1em}(2.7)}$$
通过上面的式子可以解出α，然后求出w和b，然后就能得到最终的模型$f(x)=w^T{x}_i+b$。
具体的求解方法SMO看下一小节。

---

SMO
SMO(Sequential Minimal Optimization)，顺序最小优化算法。其基本思想是先固定${\alpha }_i$之外的所有参数，然后求${\alpha }_i$上的极值。因为存在$\sum _{i=1}^m{\alpha }_i{y}_i=0$的限制，所以固定${\alpha }_i$之外的其他变量，则${\alpha }_i$可以由其他变量表示。

具体过程：

SMO每次选择两个变量${\alpha }_i$和${\alpha }_j$，并固定其他的参数。这样在参数初始化后，SMO不断执行以下的两个步骤直至收敛：

• 选取一对需更新的变量${\alpha }_i$和${\alpha }_j$
• 固定${\alpha }_i$和${\alpha }_j$之外的参数，求解$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$获取更新后的${\alpha }_i$和${\alpha }_j$

SMO算法之所以很高效，恰恰在于在固定其他参数后，仅优化剩下两个参数的过程能非常高效。因为${\alpha }_i$和${\alpha }_j$之间的约束可重写为：
$${\alpha }_i{y}_i+{\alpha }_j{y}_j=c,{\alpha }_i⩾0,{\alpha }_j⩾0\text{\hspace{1em}(2.8)}$$

将${\alpha }_i{y}_i+{\alpha }_j{y}_j=c$进行变形，变为
$${\alpha }_j=\frac{c-{\alpha }_i{y}_i}{y_j}\text{\hspace{1em}(2.9)}$$

将(2.9)带入到(2.7)，可以消去式中的${\alpha }_j$。然后(2.7)就变成了有关单变量${\alpha }_i$的二次规划问题，很简单就可以求解出${\alpha }_i$的最优解。随后用同样的方法求解出${\alpha }_j$。

那么参数b怎么确定呢？我们注意到任意的支持向量$(x_s,y_s)$都有$y_s\cdot f(x_s)=1$即：
$$y_s(\sum _{i\in s}{\alpha }_i{y}_i{x}_i^T{x}_s+b)=1\text{\hspace{1em}(2.10)}$$

即可获取参数b。虽然任何的支持向量都可以(2.10)获取b，但是现实中通常采用一种更鲁棒的做法，使用所有支持向量求解的平均值：
$$b=\frac{1}{|s|}\sum _{s\in S}(\frac{1}{y_s}-\sum _{i\in S}{\alpha }_i{y}_i{x}_i^T{x}_s)$$

最后w和b都求解出来后，结束。机器学习，学习的就是w和b这两个参数。

---

函数间隔到几何间隔的推导过程