机器学习: 详细推导SVM（Support Vector Machine，支持向量机)

一、什么是支持向量机？

支持向量机可以用下面的一句话进行总结：

支持向量机就是最大间隔分类器

因此，支持向量机其实就是一种分类器（大多数情况下都用于二分类）。那最大间隔是什么意思呢？

考虑下面的例子，我们希望找到一个超平面将两类样本分开。很明显的是中间加粗的划分超平面应该是最鲁棒的。假设我们将超平面上移直到遇到一个样本点（称为支持向量），我们将其定义为上边界。同样的，将它向下移动直到遇到一个样本点，我们将其定义为下边界，上下边界的距离称为间隔（margin）。观察最佳超平面的特点，我们发现它的间隔是所有候选超平面中最大的，因此我们可以通过最大化间隔来找到该最佳超平面。

对于任意一个划分超平面
$${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$$
不妨设它的上下界为
$$\{\begin{array}{l}{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b=+1\\ {\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b=-1\end{array}$$

这里这个1是任意取的，它并不影响我们对于正确超平面的求解。若超平面$(w^{{}^{\prime }},b^{{}^{\prime }})$能将训练样本正确分类,则总存在缩放变换$\varsigma w\mapsto w^{\prime }$和$\varsigma b\mapsto b^{\prime }$使式上式成立。

容易知道$w$是两个超平面(一维是就是直线）的法向量，设$x_2,x_1$分别是上下界的任一点，根据距离公式可得(即$x_1-x_2$在法向量上的投影，再除以法向量的长度)， 在这里我们省略标识向量的箭头符号。
$$\begin{array}{rl}\frac{\Vert ({\mathbf{x}}_1-{\mathbf{x}}_2)\cdot \mathbf{w}\Vert }{\Vert \mathbf{w}\Vert }& =\frac{\Vert {\mathbf{w}}^T({\mathbf{x}}_1-{\mathbf{x}}_2)\Vert }{\Vert \mathbf{w}\Vert }\\ & =\frac{\Vert {\mathbf{w}}^T{\mathbf{x}}_1-{\mathbf{w}}^T{\mathbf{x}}_2\Vert }{\Vert \mathbf{w}\Vert }\\ & =\frac{\Vert 1-b-(-1-b)\Vert }{\Vert \mathbf{w}\Vert }\\ & =\frac{2}{\Vert w\Vert }\end{array}$$

因此，我们想要最大化这个间隔来求得相应的w，并且需要满足正确分类的约束(正确分类时$y_{i}f({\mathbf{x}}_{\mathbf{i}})\ge 1$, 这是因为正确分类只有两种情况，$y_i=1$时预测值在上界上面$f({\mathbf{x}}_{\mathbf{i}})\ge 1$, 同样$y_i=-1$时预测值在下界下面$f({\mathbf{x}}_{\mathbf{i}})\le -1$ )，也就是：
$$\begin{array}{rl}\underset{\mathbf{w},b}{\max }& \frac{2}{\Vert \mathbf{w}\Vert }\\ \text{ s.t. }& y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m.\end{array}$$
上述约束公式等价于求解
$$\begin{array}{r}\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ s.t.y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m.\end{array}$$
上述带约束的问题就是SVM的基本型，这其实是一个凸二次规划 (convex quadratic programming) 问题，能直接用现成的优化计算包求解（比如梯度下降法），但是我们可以使用下面基于下面的方法求解，更加的高效。（这个方法的过程是：拉格朗日乘子法->转换为对偶问题->SMO求解），因为拉格朗日原本就是直接求闭式解，所以必然比梯度下降或者牛顿法这种迭代的方法更加高效。

二次规划的定义：当凸优化问题的目标函数是(凸)二次型并且约束函数为仿射（仿射，即关于变量的线性组合）时，该问题称为二次规划（Quadratic Programming）,二次规划可以表述为

二、如何求解支持向量机？

事实上，SVM的思想是非常容易理解的，但是它的推导求解是一个复杂的过程，需要一定的数学基础。

在高等数学中，带约束的优化问题很自然而然的就知道是使用拉格朗日乘子法求解，可以参考下直观理解拉格朗日乘子法。

我们由上面得到了SVM基本型，可以看到，它是一个带不等式约束的优化问题，根据直观理解拉格朗日乘子法里面的介绍，它可以使用带KKT条件的拉格朗日乘子法进行求解（这个过程就是使用松弛变量将不等式约束转化为等式约束，然后就直接使用拉格朗日乘子法，由于不等式约束转化为等式约束，这个过程导出了KKT条件来对原不等式约束进行等价约束）,在这里，为了读者进行对比，再次给出不等式约束条件下的拉格朗日乘子法的标准形式。

所以对于SVM标准型的求解可以转化为下面的拉格朗日函数最小值的求解

$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)$$

同时需要满足KKT条件
$$\{\begin{array}{l}{\alpha }_i⩾0\\ y_{i}f\left({\mathbf{x}}_i\right)-1⩾0\\ {\alpha }_i\left(y_{i}f\left({\mathbf{x}}_i\right)-1\right)=0\end{array}$$

上面我们说到了对偶问题？什么是对偶问题？为什么要转化为对偶问题？（一般如果转换为对偶问题，求解更简单，则使用对偶问题）

拉格朗日的对偶问题是指以下问题

$$d^{\ast }=\underset{\lambda ,\mu {:}_i\ge 0}{\max }\underset{x}{\min }L(x,\lambda ,\mu )\le \underset{x}{\min }\underset{\lambda ,\mu {:}_i\ge 0}{\max }L(x,\lambda ,\mu )=p^{\ast }$$

其实在SVM中，现在的问题是 min max问题（min对于的参数是w,b，max对应的参数是$\alpha$)，然后我们需要将其转化为max min问题（因为这样求解更简单）

下面我们先简单证明下为什么现在的问题是min max问题。为了更一般化的表达，仍使用拉格朗日乘子法的标准形式进行证明，具体读者可以根据SVM的参数进行对号入座。

一般我们要求解的拉格朗日函数都是关于某个目标参数最小值，所以一般都是min max问题。根据上面图片所示的标准形式，我们现在的参数是$x,\lambda ,\mu$，欲求关于x的拉格朗日最小值，即：

$$\begin{array}{rl}\Gamma (\mathbf{\lambda },\mathbf{\mu })& =\underset{\mathbf{x}\in \mathbb{D}}{\inf }L(\mathbf{x},\mathbf{\lambda },\mathbf{\mu })\\ & =\underset{\mathbf{x}\in \mathbb{D}}{\inf }\left(f(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{h}_i(\mathbf{x})+\sum _{j=1}^n{\mu }_j{g}_j(\mathbf{x})\right)\end{array}$$
这里inf表示下界。 如果$\tilde{\mathbf{x}}\in \mathbb{D}$是可行域的解，那么根据原始的约束条件（即$h_i(x)=0,g_j(x)\le x$，这里只是$\tilde{\mathbf{x}}\in \mathbb{D}$是可行域的解，而不是说$\tilde{\mathbf{x}}$是最优解，因此采用的是原始的原始条件，而不是做了最优解假设的KKT条件)，因此对于任意的$\mu \ge 0$和$\lambda$有

$$\sum _{i=1}^m{\lambda }_i{h}_i(\mathbf{x})+\sum _{j=1}^n{\mu }_j{g}_j(\mathbf{x})⩽0$$

进而有
$$\Gamma (\mathbf{\lambda },\mathbf{\mu })=\underset{\mathbf{x}\in \mathbb{D}}{\inf }L(\mathbf{x},\mathbf{\lambda },\mathbf{\mu })⩽L(\tilde{\mathbf{x}},\mathbf{\lambda },\mathbf{\mu })⩽f(\tilde{\mathbf{x}})$$
如果原问题的最优值为$p^{\ast }$，那对于任意的$\mu \ge 0$和$\lambda$有
$$\Gamma (\mathbf{\lambda },\mathbf{\mu })⩽p^{\ast }$$

因此，也就是说最优值的取得应该是 min max得一个过程，也就是先求一个关于$\lambda ,\mu$的拉格朗日函数最大值，然后再求关于x的最小值。
$$\underset{x}{\min }\underset{\lambda ,\mu {:}_i\ge 0}{\max }L(x,\lambda ,\mu )$$

现在由于我们如果先求max L的话，对于SVM来说，这并不是一个好解的问题，因此将其SVM标准型转化为其对偶问题，即max min问题，即先求关于w，b的min，再求max。

现在我们回到SVM的具体求解（回想：我们的目标是求得最优值下的w，b，$\alpha$)。

现在用拉格朗日函数$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+{\sum }_{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)$先对w和b求偏导并令其等于0，可得
$$\begin{array}{rl}\mathbf{w}& =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ 0& =\sum _{i=1}^m{\alpha }_i{y}_i\end{array}$$

接下来我们再求关于$\alpha$的max问题，从而得到最优值处$\alpha$的取值。由于求min过程已经得到一部分有用的信息，我们将上面两个式子代入拉格朗日函数$L(\mathbf{w},b,\mathbf{\alpha })$，可得
$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j$$
$$\begin{array}{ll}\text{ s.t. }& {\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,m.\end{array}$$
并且需满足上述的解依然需要满足KKT条件（这里求解$\alpha$时先不考虑KKT，求解完再进行验证）
$$\{\begin{array}{l}{\alpha }_i⩾0\\ y_{i}f\left({\mathbf{x}}_i\right)-1⩾0\\ {\alpha }_i\left(y_{i}f\left({\mathbf{x}}_i\right)-1\right)=0\end{array}$$

可以看到，上面对于$\alpha$的max过程其实是一个二次规划的问题，可以通过半正定规划、梯度下降法、拟牛顿法进行求解。;然而该问题的规模正比于训练样本数 这会在实际任务中造成很大的开销.为了避开这个障碍，人们通过利用问题本身的特性，提出了很多高效算法， SMO（Sequential Minimal Optimization)是其中一个代表。

SMO的基本思路是每次只更新一个变量${\alpha }_i$.他不断地迭代以下两个步骤直至收敛。
1. 选取一对需要更新的变量${\alpha }_i$和${\alpha }_j$
2. 固定${\alpha }_i$和${\alpha }_j$以外的参数，求解上述max函数获得更新后的${\alpha }_i$和${\alpha }_j$, 这个过程如下所示：
仅考虑${\alpha }_i$和${\alpha }_j$时，约束${\sum }_{i=1}^m{\alpha }_i{y}_i=0$可以重写为：
$${\alpha }_i{y}_i+{\alpha }_j{y}_j=c,{\alpha }_i⩾0,{\alpha }_j⩾0$$
其中
$$c=-\sum _{k\ne i,j}{\alpha }_k{y}_k$$

利用上面关于${\alpha }_i$和${\alpha }_j$的式子，我们可以消去${\alpha }_j$，这时就得到了只关于${\alpha }_i$的单变量二次规划问题，仅有的约束是${\alpha }_i\ge 0$。这样的二次规划问题是具有闭式解的（即直接公式求解），可以高效的计算出更新后的${\alpha }_i$和${\alpha }_j$。

当所有的$\alpha$都不再发生明显变化后，我们得到了拉格朗日函数最优值处的$\alpha$。

然后我们根据以下公式求得$\mathbf{w}$

$$\mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i$$

那么如何确定偏移项b呢？注意到对任意支持向量$({\mathbf{x}}_{\mathbf{s}},y_s)$, 都有$y_{s}f({\mathbf{x}}_{\mathbf{s}})=1$,即
$$y_s\left(\sum _{i\in S}{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_s+b\right)=1$$
因此，我们可以使用所有支持向量求 解的平均值
$$b=\frac{1}{|S|}\sum _{s\in S}\left(y_s-\sum _{i\in S}{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_s\right)$$

至此，通过引入带KKT条件的拉格朗日乘子法，再将其转化为对偶问题求解，该对偶问题是一个二次规划问题，最后通过SMO算法高效求解该二次规划问题，得到了最优值下$\alpha$的取值，然后根据$\alpha$的取值得到$\mathbf{w}$和b，最终完成了对最优划分超平面的求解。

三、参考资料

【1】周志华《机器学习》
【2】Stephen Boyd 《凸优化》
【3】浅谈最优化问题的KKT条件
【4】直观理解拉格朗日乘子法