6 深入浅出：支持向量机

支撑向量机（SVM）算法在分类问题中有着重要地位，其主要思想是最大化两类之间的间隔。按照数据集的特点：

1. 线性可分问题，如之前的感知机算法处理的问题
2. 线性可分，只有一点点错误点，如感知机算法发展出来的 Pocket 算法处理的问题
3. 非线性问题，完全不可分，如在感知机问题发展出来的多层感知机和深度学习

这三种情况对于 SVM 分别有下面三种处理手段：

1. hard-margin SVM
2. soft-margin SVM
3. kernel Method

SVM有三宝：间隔、对偶、核技巧
SVM 的求解中，大量用到了 Lagrange 乘子法，首先对这种方法进行介绍。

1 硬间隔SVM

SVM最早是为了解决二分类的问题，是一个判别模型，和排律概率没有关系
从上图可以，可以有很多条线将数据分开。从几何上看，就是从多个分割线上找到一条鲁棒性最好的。

1.1 模型定义

支持向量机也是一种硬分类模型，在之前的感知机模型中，我们在线性模型的基础上叠加了符号函数，在几何直观上，可以看到，如果两类分的很开的话，那么其实会存在无穷多条线可以将两类分开。在 SVM 中，我们引入最大化间隔这个概念，间隔指的是数据和直线的距离的最小值，因此最大化这个值反映了我们的模型倾向。

分割的超平面可以写为： $$0=w^{T}x+b$$
最大间隔分类器
$$maxmargin(w，b)$$
$$\{\begin{array}{l}{w}^T{x}_i+b>0y_i=+1\\ w^T{x}_i+b<0y_i=-1\end{array}\to y_i\left(w^T{x}_i+b\right)>0i=1,2,\dots N$$

$w^T{x}_i+b$这个平面有很多个，因此点到平面的距离也就会有很多个，取最小的距离。
$$\begin{array}{rl}\mathrm{margin}(w,b)& =\underset{w,b,x_i}{\min }\mathrm{distance}\left(w,b,x_i\right)\\ & =\underset{w,b,x_i}{\min }\underset{i=1,2..N}{\min }\frac{1}{\Vert w\Vert }\left|w^T{x}_i+b\right|\end{array}$$

$$\Rightarrow \{\begin{array}{l}{\max }_{w,b}{\min }_x\frac{1}{|w|}\left|w^T{x}_i+b\right|={\max }_{w,b}{\min }_x\frac{1}{\Vert w\Vert }{y}_i\left(w^T{x}_i+b\right)={\max }_{w,b}\frac{1}{\Vert w\Vert }{\min }_x{y}_i\left(w^T{x}_i+b\right)={\max }_{w,b}\frac{1}{\Vert w\Vert }Y\\ \text{ s.t. }{y}_i\left(w^T{x}_i+b\right)>0\Rightarrow \exists \gamma >0,\text{ s.t. }\min y_i\left(w^T{x}_i+b\right)=\gamma \end{array}$$
再此为了简化运算，令 $\gamma =1$

对$w^{T}x+b$等比例缩放,指向的都是同一个超平面，设定$\gamma$值，只是限定$w$的值。
$$\Rightarrow \{\begin{array}{l}{\max }_{w,b}\frac{1}{|w|}\\ \text{s.t. }\min y_i\left(w^T{x}_i+b\right)=1\end{array}\Rightarrow \{\begin{array}{l}{\min }_{w,b}\frac{1}{2}{w}^{T}w\\ \text{s.t.}{y}_i\left(w^T{x}_i+b\right)\ge 1,for\forall i=1,2..N\end{array}$$
这就是⼀个包含N个约束的凸优化问题，有很多求解这种问题的软件。
但是，如果样本数量或维度⾮常⾼，直接求解困难甚⾄不可解，于是需要对这个问题进⼀步处理。引入 Lagrange 函数。

1.1 模型求解：引出对偶问题

1.1.1 primal problem原问题

$$带约束：\{\begin{array}{l}{\min }_{w,b}\frac{1}{2}{w}^{T}w\\ \text{s.t.}{y}_i\left(w^T{x}_i+b\right)\ge 1,for\forall i=1,2..N\end{array}$$
拉格朗日函数：$$\begin{array}{l}L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^N{\lambda }_i\left(1-y_i\left(w^T{x}_i+b\right)\right)\\ \lambda \ge 01-y_i\left(w^T{x}_i+b\right)\le 0\end{array}$$
转化为无约束问题：
$$\text{ 无纳束: }\{\begin{array}{l}{\min }_{w,b}{\max }_{\lambda }L(w,b,\lambda )\\ \text{ s.t. }\lambda \ge 0\end{array}$$
那么怎么证明有约束与无约束是等价的呢？下面将数据分为两部分，即$1-y_i(w^T{x}_i+b)$大于0和小于等于0两部分
下面分情况来看一下：
$$\{\begin{array}{l}if:1-y_i\left(w^T{x}_i+b\right)>0,{\max }_{\lambda }L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\infty =\infty \\ if:1-y_i\left(w^T{x}_i+b\right)\le 0,{\max }_{\lambda }L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+0=\frac{1}{2}{w}^{T}w,{\min }_{w,b}{\max }_{\lambda }L(w,b,\lambda )={\min }_{w,b}\frac{1}{2}{w}^{T}w\end{array}$$
$$\begin{array}{rl}& \Rightarrow \underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )=\underset{w,b}{\min }\left(\infty ,\frac{1}{2}{w}^{T}w\right)=\underset{w,b}{\min }\frac{1}{2}{w}^{T}w\end{array}$$
也就是说无约束问题虽然没有显式的考虑$y_i\left(w^T{x}_i+b\right)\ge 1$，但是模型自动将$1-y_i\left(w^T{x}_i+b\right)>0$的情况给过滤掉了，因此最优解必然出于$1-y_i\left(w^T{x}_i+b\right)\le 0$

1.1.2 dual problem 对偶问题

$$\text{ 原问题: }\{\begin{array}{l}{\min }_{w,b}{\max }_{\lambda }L(w,b,\lambda )\\ \text{ s.t. }\lambda \ge 0\end{array}$$

$$\text{ 对偶问题: }\{\begin{array}{l}{\max }_{\lambda }{\min }_{w,b}L(w,b,\lambda )\\ \text{ s.t. }\lambda \ge 0\end{array}$$

• 若对偶关系：$minmaxL\ge maxminL$
• 强对偶关系：$minmaxL=maxminL$
• 凸优化二次型问题，满足强对偶。

注意到${\min }_{w,b}L(w,b,\lambda )$式子，对w和b是没有约束的，所以我们就直接通过求偏导，零其为0。
$$\begin{array}{l}L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^N{\lambda }_i\left(1-y_i\left(w^T{x}_i+b\right)\right)\end{array}$$
$$\begin{array}{rl}\frac{\partial L}{\partial b}& =\frac{\partial }{\partial b}\left[\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i\left(w^T{x}_i+b\right)\right]\\ & =\frac{\partial }{\partial b}\left[-\sum _{i=1}^N{\lambda }_i{y}_{i}b\right]\\ & =-\sum _{i=1}^N{\lambda }_i{y}_i=0\end{array}$$

将其带入$L(w,b,\lambda )$
$$\begin{array}{rl}L(w,b,\lambda )=& \frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i\left(1-y_i\left(w^T{x}_i+b\right)\right)\\ =& \frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{w}^T{x}_i-\sum _{i=1}^N{\lambda }_i{y}_{i}b\\ =& \frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{w}^T{x}_i\end{array}$$ $$\begin{array}{r}\frac{\partial L}{\partial w}=w-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i=0\end{array}$$ $$\Rightarrow w=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i$$
将其带入$L(w,b,\lambda )$
$$\begin{array}{rl}L(w,b,\lambda )& =\frac{1}{2}{\left(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i\right)}^T\left(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i\right)-\sum _{i=1}^N{\lambda }_i{y}_i{\left(\sum _{j=1}^N{\lambda }_j{y}_j{x}_j\right)}^T{x}_i+\sum _{j=1}^N{\lambda }_i\\ & =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_j^T{x}_i+\sum _{j=1}^N{\lambda }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{j=1}^N{\lambda }_i\end{array}$$
对偶问题就变成
$$\text{ 等价代换求λ的最大值： }\{\begin{array}{l}{\max }_{\lambda }-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+{\sum }_{j=1}^N{\lambda }_i\\ \\ s.t.{\lambda }_i\ge 0\\ \\ {\sum }_{i=1}^N{\lambda }_i{y}_i=0\end{array}$$

1.1.3 KKT条件

对于任何一个优化问题，假如强对偶性成立，那么问题的最优解将满足 KKT 条件。
原问题与对偶问题一定是满足弱对偶关系的，因为这是凸二次规划问题，约束是线性的，目标函数是二次的，所以满足了强对偶关系。（需要证明，这里直接拿来用了）
KKT条件：
$$\{\begin{array}{l}\begin{array}{l}\frac{\partial \mathcal{L}}{\partial w}=w-{\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i=0\\ \\ \frac{\partial f}{\partial b}=0\\ \\ {\lambda }_i\left(1-y_i\left(w^{\top }{x}_i+b\right)\right)=0(slacknesscomplementary)\\ \\ {\lambda }_i⩾0\\ \\ 1-y_i\left(w^{\top }{x}_i+b\right)⩽0\end{array}\end{array}$$
因为对偶最优化问题的原问题与对偶问题满足强对偶性，因此$w,b$的最优解就满足KKT条件。
根据这个条件就得到了对应的最佳参数： $$\hat{w}=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i(\frac{\partial \mathcal{L}}{\partial w}=0)$$ 其中至少有一个${\lambda }_k$大于0 （用反证法，若${\lambda }_k=0$，从KKT的第一个条件可得$w=0$，但是$w=0$并不是原始最优化问题的最优解，因此至少有一个${\lambda }_k$大于0），那么存在${\lambda }_k$对应的$(x_k,y_k)$使得$1-y_k(w^T{x}_k+b)=0$，可得
$$\hat{b}=y_k-w^T{x}_k=y_k-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i^T{x}_k$$ 于是这个超平面的参数 $w$ 就是数据点的线性组合，最终的参数值就是部分满足 $y_i(w^T{x}_i+b)=1$向量的线性组合（互补松弛条件给出），这些向量也叫支撑向量。对应的$\lambda$是一个向量，只有对应的支持向量时不为0，其余时候均为0。

1.2 软间隔SVM

Hard-margin 的 SVM 只对可分数据可解，如果不可分的情况，我们的基本想法是在损失函数中加入错误分类的可能性。错误分类的个数可以写成：$$\text{loss}=\sum _{i=1}^N\mathbb{I}\left\{y_i\left(w^T{x}_i+b\right)<1\right\}$$这个函数不连续，可以将其改写为： $$\text{loss}=\sum _{i=1}^N\max \left\{0,1-y_i\left(w^T{x}_i+b\right)\right\}$$ 求和符号中的式子又叫做 Hinge Function。

$$\{\begin{array}{l}{\min }_{w.b}\frac{1}{2}{w}^{r}w+C{\sum }_{i=1}^{N}max\left\{0,1-y_i\left(w^{\top }{x}_i+b\right)\right\}\\ \\ \text{ s.t. }{y}_i\left(w^{\top }{x}_i+b\right)⩾1\end{array}$$
这个式子中，常数 $C$ 可以看作允许的错误水平，同时上式为了进一步消除 $\max$ 符号，对数据集中的每一个观测，我们可以认为其大部分满足约束，但是其中部分违反约束，因此这部分约束变成 $y_i(w^{T}x+b)\ge 1-{\xi }_i$，其中 ${\xi }_i=1-y_i(w^T{x}_i+b),{\xi }_i⩾0$，
$$\{\begin{array}{l}{\min }_{w.b}\frac{1}{2}{w}^{r}w+C{\sum }_{i=1}^N{\xi }_i\\ \\ \text{ s.t. }{y}_i\left(w^{\top }{x}_i+b\right)⩾1-{\xi }_i\\ \\ {\xi }_i⩾0\end{array}$$

上图中第一条虚线到$w^{T}x+b$d的距离时$1-{\xi }_i$，两条虚线之间的距离就是${\xi }_i$

1.3 约束优化问题

1.3.1 弱对偶性证明

一般地，通用型约束优化问题（原问题）可以写成：
$$\begin{array}{rl}& \underset{x\in {\mathbb{R}}^{\mathrm{p}}}{\min }f(x)\\ & s.t.m_i(x)\le 0,i=1,2,\cdots ,M\\ & n_j(x)=0,j=1,2,\cdots ,N\end{array}$$ 定义 Lagrange 函数： $$L(x,\lambda ,\eta )=f(x)+\sum _{i=1}^M{\lambda }_i{m}_i(x)+\sum _{i=1}^N{\eta }_i{n}_i(x)$$ 那么原问题可以等价于无约束形式： $$\underset{x\in {\mathbb{R}}^p}{\min }\underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta )s.t.{\lambda }_i\ge 0$$ 这是由于，当满足原问题的不等式约束的时候，${\lambda }_i=0$ 才能取得最大值，直接等价于原问题，如果不满足原问题的不等式约束，那么最大值就为 $+\infty$，由于需要取最小值，于是不会取到这个情况。所以无约束形式默认使得x满足有约束形式的约束。

这个问题的对偶形式： $$\underset{\lambda ,\eta }{\max }\underset{x\in {\mathbb{R}}^p}{\min }L(x,\lambda ,\eta )s.t.{\lambda }_i\ge 0$$ 对偶问题是关于 $\lambda ,\eta$ 的最大化问题。
弱对偶性：对偶问题$\le$原问题
$$\underset{{\lambda }_i,{\eta }_j}{\max }\underset{x}{\min }L(x,{\lambda }_i,{\eta }_j)\le \underset{x}{\min }\underset{{\lambda }_i,{\eta }_j}{\max }L(x,{\lambda }_i,{\eta }_j)$$

证明：显然有 $\underset{x}{\min }L\le L\le \underset{\lambda ,\eta }{\max }L$（函数肯定大于等于最小值，小于等于最大值）。现在记 $\underset{x}{\min }L=A，\underset{\lambda ,\eta }{\max }L=B$，那么就有$A\le B$恒成立，那么A的最大值也会小于B的最小值，即$maxA\le minB$，于是显然有 $\underset{\lambda ,\eta }{\max }\underset{x}{\min }L\le \underset{x}{\min }\underset{\lambda ,\eta }{\max }L$

1.3.2 对偶关系的几何表达

如上图所示，原问题的最优解$p^{\ast }$的位置如上图，其中inf表示下确界，也就是取最小值点。

直线$t+\lambda u$在平移过程中会有与t轴很多交点，要取最小值。所以$g(\lambda )$就是直线$t+\lambda u$与区域G最小边的切线与t轴的相交值。那么$d^{\ast }=maxg(\lambda )$又怎么表示呢？因为此时$\lambda$还没确定，最大的$d\ast$如下图：黄框的点

所以，从上图可以看出来$d^{\ast }\le p^{\ast }$成立
上面是非凸情况，那么凸的情况，也必然成立。

凸优化+Slater条件可以得出强对偶关系，即$d^{\ast }=p^{\ast }$，注意这里是充分条件，而不是充要条件。

1.3.3 对偶关系的Slater Condition的解释

对于一个凸优化问题，有如下定理：

如果凸优化问题满足某些条件如 Slater 条件，那么它和其对偶问题满足强对偶关系。记问题的定义域为：$\mathcal{D}=domf(x)\cap dom{m}_i(x)\cap dom{n}_j(x)$。于是 Slater 条件为： $$\exists \hat{x}\in Relint\mathcal{D}s.t.\forall i=1,2,\cdots ,M,m_i(x)<0$$ 其中 Relint 表示相对内部（不包含边界的内部）。
仿射函数，即最高次数为1的多项式函数。常数项为零的仿射函数称为线性函数。

1. 对于大多数凸优化问题，Slater 条件成立。
2. 松弛 Slater 条件，如果 M 个不等式约束中，有 K 个函数为仿射函数，那么只要其余的函数满足 Slater 条件即可。
   SVM是一个凸二次优化问题，约束满足松弛 Slater 条件，所以也就是强对偶关系。

Slater条件的几何意义，如下图，Slater条件就是要求数据落在$u<0$区域，甚至不可以$g(\lambda )$不可以与t轴相交，而SVM天然的满足这项条件。

1.3.3 对偶关系的KKT条件

上⾯介绍了原问题和对偶问题的对偶关系，但是实际还需要对参数进⾏求解，求解⽅法使⽤ KKT 条件进
⾏：

KKT 条件和强对偶关系是等价关系。KKT 条件对最优解的条件为：
.1. 可行域： $$\begin{gathered} m_i(x^{\ast })\le 0 \\ {n}_j(x^{\ast })=0 \\ {\lambda }^{\ast }\ge 0 \end{gathered}$$
.2. 互补松弛 ${\lambda }_i^m(x^{\ast })=0,\forall m_i$，对偶问题的最佳值为 $d^{\ast }$，原问题为 $p^{\ast }$ $$\begin{array}{rl}{d}^{\ast }& =\underset{\lambda ,\eta }{\max }g(\lambda ,\eta )=g\left({\lambda }^{\ast },{\eta }^{\ast }\right)\\ & =\underset{x}{\min }L\left(x,{\lambda }^{\ast },{\eta }^{\ast }\right)\\ & \le L\left(x^{\ast },{\lambda }^{\ast },{\eta }^{\ast }\right)\\ & =f\left(x^{\ast }\right)+\sum _{i=1}^M{\lambda }^{\ast }{m}_i\left(x^{\ast }\right)\\ & \le f\left(x^{\ast }\right)=p^{\ast }\end{array}$$为了满足相等，两个不等式必须成立，于是，对于第一个不等于号，需要有梯度为0条件，对于第二个不等于号需要满足互补松弛条件。
3. 梯度为0：$\frac{\partial L(x,{\lambda }^{,}{\eta }^{)}}{\partial x}{|}_{x=x^{\ast }}=0$