百面机器学习 #3 经典算法：01-1 线性可分（硬间隔）支撑向量机SVM

参考李航统计学习方法第7章。

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。

对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。也就是说，不仅将正负实例点分开，而且对最难分的实例点（离超平面最近的点）也有足够大的确信度将它们分开。这样的超平面应该对未知的新实例有很好的分类预测能力。

可以通过求解对偶问题而得到原始问题的解，进而确定分离超平面和决策函数。

①从原始问题到对偶问题

SVM的原始优化问题：
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ & \mathrm{s}.\mathrm{t}.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,...,N\end{array}$$
$\iff$化成常见的约束为小于号的形式
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ & \mathrm{s}.\mathrm{t}.-y_i(w\cdot x_i+b)+1\le 0,i=1,2,...,N\end{array}$$

拉格朗日对偶Lagrange duality

• 原始约束最优化问题
  $$\begin{array}{rl}& \underset{x\in {\mathrm{R}}^n}{\min }f(x)\\ & \mathrm{s}.\mathrm{t}.c_i(x)\le 0,i=1,2,...,k\\ & h_j(x)=0,j=1,2,...,l\end{array}$$

• 拉格朗日函数
  $$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$
  其中${\alpha }_i\ge 0$

• 关于约束参数$\alpha ,\beta$的最大化优化函数是$f(x)$的等价形式
  $${\theta }_P(x)=\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )$$
  给定$x$，当存在某个$i$不满足约束条件$c_i(x)\le 0$时，${\alpha }_i\to +\infty$使得${\theta }_P(x)=+\infty$；当存在某个$j$不满足约束条件$h_j(x)=0$时，${\beta }_j{h}_j(x)\to +\infty$使得${\theta }_P(x)=+\infty$;故只有同时满足两类约束条件，才能使得最优化$L(x,\alpha ,\beta )$得到最大值$=f(x)$

• 广义拉格朗日函数的极小极大问题
  $$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )$$

• 对偶问题/广义拉格朗日函数的极大极小问题
  $$\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }{\theta }_D(x)=\underset{\alpha ,\beta :{\alpha }_i⩾0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$
  其中
  $${\theta }_D(x)=\underset{x}{\min }L(x,\alpha ,\beta )$$

拉格朗日函数
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i\left(w\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i$$
在svm中，根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

②对偶问题的解的形式化简

以下步骤先把原问题化成对偶问题（对偶变量的）的形式，然后通过解对偶问题，我们可以间接获得原问题的解。

（1）求 $\underset{w,b}{\min }L(w,b,\alpha )$
$$\begin{array}{rl}{\nabla }_{w}L(w,b,\alpha )& =w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ {\nabla }_{b}L(w,b,\alpha )& =-\sum _{i=1}^N{\alpha }_i{y}_i=0\\ \Rightarrow & \\ & w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
求的结果代回L的表达式有
$$\begin{array}{rl}\underset{w,b}{\min }L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i{y}_i\left(\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\right)\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\end{array}$$
（2）$\underset{w,b}{\min }L(w,b,\alpha )$求对$\alpha$的极大
$$\begin{array}{ll}\underset{\alpha }{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\\ \text{ s.t. }& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}$$
（3）再将对目标函数求极大转换为求极小，最终得到下面与原始优化问题等价的对偶最优化问题：
$$\begin{array}{ll}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i\\ \text{ s.t. }& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}$$
所以存在$w^{\ast }$，${\alpha }^{\ast }$，$b^{\ast }$，使$w^{\ast }$, $b^{\ast }$是原始问题的解，${\alpha }^{\ast }$是对偶问题的解。

③从对偶问题的解到原问题的解

假设求得对偶最优化问题对$\alpha$的解为${\alpha }^{\ast }$，那么我们可以由按照下式${\alpha }^{\ast }$求得原始最优化问题的解$w^{\ast }$，$b^{\ast }$：
$$\begin{array}{c}{w}^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\\ b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x_i\cdot x_j\right)\end{array}$$
证明：

针对对偶问题和原始问题共同的最优解$w^{\ast },b^{\ast },{\alpha }^{\ast }$，对目标函数
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i\left(w\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i$$
（原问题）根据KKT条件，
$$\begin{array}{l}{\nabla }_{w}L\left(w^{\ast },b^{\ast },{\alpha }^{\ast }\right)=w^{\ast }-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0\\ {\nabla }_{b}L\left(w^{\ast },b^{\ast },{\alpha }^{\ast }\right)=-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i=0\\ {\alpha }_i^{\ast }\left(-y_i\left(w^{\ast }\cdot x_i+b^{\ast }\right)+1\right)=0,i=1,2,\cdots ,N\\ -y_i\left(w^{\ast }\cdot x_i+b^{\ast }\right)+1⩽0,i=1,2,\cdots ,N\\ {\alpha }_i^{\ast }⩾0,i=1,2,\cdots ,N\end{array}$$
由第一个式子得 $w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$

至少有一个（不是要求的，是求解问题的时候，发现至少一个非零才是合理的，否则都为0，根据第一个式子w也为0）${\alpha }_j^{\ast }>0$，任选其一，所以$y_j\left(w^{\ast }\cdot x_j+b^{\ast }\right)-1=0$

注意到$y_j^2=1$，联立上述二式得

$b^{\ast }=\frac{1}{y_j}-w^{\ast }\cdot x_j=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i{x}_j$

证毕。

④从原问题的解到分离超平面和决策函数、支撑向量

进一步，分离超平面可以写成
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }=0$$
分类决策函数可以写成
$$f(x)=sign\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }\right)$$
可以看到，$w^{\ast },b^{\ast }$只依赖于那些${\alpha }_j^{\ast }>0$的样本，这样的对应的训练样本我们就称之为支撑向量。

对于支撑向量，
$$\begin{gathered} {\alpha }_i^{\ast }\left(-y_i\left(w^{\ast }\cdot x_i+b^{\ast }\right)+1\right)=0,{\alpha }_i^{\ast }>0 \\ \Rightarrow \\ {y}_i\left(w^{\ast }\cdot x_i+b^{\ast }\right)+1=0 \\ \Rightarrow \\ {w}^{\ast }\cdot x_i+b^{\ast }=1or-1 \end{gathered}$$
即它一定在边界上!

• SVM的分类结果仅依赖于支持向量，这也是它拥有极高运行效率的关键之一