【支持向量机】：SVM

支持向量机

本文是笔者西瓜书第六章的学习笔记，如有谬误，请随时指出。

间隔与支持向量

考虑一个二分类问题，其训练样本集为$D=\{({\mathbf{x}}_{\mathbf{i}},y_i){\}}_{i=1}^m$，其中 y i ∈ { − 1 , + 1 } y_i\in\{-1, +1\} yi​∈{−1,+1}，最直观的想法就是找到一个超平面
$${\mathbf{w}}^{\top }\mathbf{x}+b=0$$
使得不同类的训练样本分别位于超平面两侧，即
$$\{\begin{array}{r}{\mathbf{w}}^{\top }{\mathbf{x}}_{\mathbf{i}}+b\ge +1,y_i=+1\\ {\mathbf{w}}^{\top }{\mathbf{x}}_{\mathbf{i}}+b\le -1,y_i=-1\end{array}$$
这里我们将超平面${\mathbf{w}}^{\top }\mathbf{x}+b$简记为$(\mathbf{w},b)$，你可能已经发现，怎么能保证超平面两侧的训练样本$({\mathbf{x}}_{\mathbf{i}},y_i)$一定满足$|{\mathbf{w}}^{\top }{\mathbf{x}}_{\mathbf{i}}+b|\ge 1$呢？

在超平面$(\mathbf{w},b)$能够将训练样本完全正确分类的情况下（注意，这是一个假设前提！下述的内容均在该假设下），这是很容易做到的。当训练样本能够完全正确分类时一定有$|{\mathbf{w}}^{\top }\mathbf{x}+b|\ge ϵ$，那么我们只需要令${\mathbf{w}}^{\prime }=\mathbf{w}/ϵ$，$b^{\prime }=b/ϵ$，即可构造出超平面$({\mathbf{w}}^{\prime },b^{\prime })$满足上式。

容易发现，如果两类样本的类间散度足够大，类内散度足够小，那么将会存在无穷多个超平面能将该训练集完全分隔开，我们应该选取哪一个超平面当作分类超平面呢？

直观上我们应该选取一个能够正确的将样本分类，并且距离两类别足够远的一个超平面。前者，是一个分类器的基本要求；后者，是为了获取一个鲁棒的分类器，当样本发生一些扰动的时候，依然能尽可能的正确分类。显然，满足后者我们需要知道样本点距离分类超平面的距离，那么如何求解呢？

首先，令样本点$\mathbf{x}$在超平面$(\mathbf{w},b)$上的投影点为${\mathbf{x}}^{\prime }$，我们需要求的是$||\mathbf{x}-{\mathbf{x}}^{\prime }||$的值。由于$\mathbf{w}$是超平面$(\mathbf{w},b)$的法向量（与超平面垂直），那么$\mathbf{w}$与$\mathbf{x}-{\mathbf{x}}^{\prime }$平行，那么有
$$|{\mathbf{w}}^{\top }(\mathbf{x}-{\mathbf{x}}^{\prime })|=\Vert \mathbf{w}\Vert \cdot \Vert \mathbf{x}-{\mathbf{x}}^{\prime }\Vert$$
我们将左边式子展开
$$\begin{array}{rl}{\mathbf{w}}^{\top }(\mathbf{x}-{\mathbf{x}}^{\prime })& ={\mathbf{w}}^{\top }\mathbf{x}-{\mathbf{w}}^{\top }{\mathbf{x}}^{\prime }\\ & ={\mathbf{w}}^{\top }\mathbf{x}+b\end{array}$$
因此我们可以得出
$$||\mathbf{x}-{\mathbf{x}}^{\prime }||=\frac{|{\mathbf{w}}^{\top }\mathbf{x}+b|}{\Vert \mathbf{w}\Vert }$$
此时我们求出了任意点$\mathbf{x}$到超平面$(\mathbf{w},b)$的距离，那么距离两类别足够远应该如何用数学语言描述呢？显然我们只需要考虑两类别中，距离超平面$(\mathbf{w},b)$最近的点即可，因为其余的点一定比他们距离超平面更远，距离两类别足够远，实际上就是距离两类别最近的点足够远。而两类别距离超平面最近的点称为“支持向量”（support vector）。支持向量$\mathbf{x}$满足$|{\mathbf{w}}^{\top }\mathbf{x}+b|=1$，因此两类别的支持向量距离超平面之和为
$$\gamma =\frac{2}{\Vert \mathbf{w}\Vert }$$
也被称为“间隔”（margin）。因此想要找到有“最大间隔”的分类超平面，实际上就是求解下述约束优化问题
$$\begin{gathered} \underset{\mathbf{w},b}{\max }\frac{2}{\Vert \mathbf{w}\Vert } \\ \text{s.t.}{y}_i({\mathbf{w}}^{\top }{\mathbf{x}}_{\mathbf{i}}+b\ge 1),i=1,\dots ,m \end{gathered}$$
这等价于
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2 \\ \text{s.t.}{y}_i({\mathbf{w}}^{\top }{\mathbf{x}}_{\mathbf{i}}+b)\ge 1,i=1,\dots ,m \end{gathered}$$
这就是支持向量机（Support Vector Machine，SVM）的基本型。注意，没有直接使用$\Vert \mathbf{w}\Vert$而是使用了$1/2\cdot \Vert \mathbf{w}{\Vert }^2$，只是为了之后的求解和变形方便。

对偶问题

在求解上述的约束优化问题之前，我们首先需要复习一些关于最优化方法的知识。

凸优化问题

对于一般约束优化问题
$$\begin{gathered} \min f(\mathbf{x}) \\ \text{s.t.}{g}_i(\mathbf{x})\le 0,i=1,\dots ,m \\ {h}_j(\mathbf{x})=0,j=1,\dots ,n \end{gathered}$$
若目标函数$f(\mathbf{x})$是凸函数，不等式约束$g_i(\mathbf{x})$是凸函数，等式约束$h_j(\mathbf{x})$是仿射函数，那么该优化问题为凸优化问题。

KKT条件

对于一般约束优化问题
$$\begin{gathered} \min f(\mathbf{x}) \\ \text{s.t.}{g}_i(\mathbf{x})\le 0,i=1,\dots ,m \\ {h}_j(\mathbf{x})=0,j=1,\dots ,n \end{gathered}$$
KKT条件是局部最优解的必要条件，也就是说只要该优化问题满足任何一个特定的约束限制条件，局部解就一定会满足以下五个条件：
$$\{\begin{array}{r}{\nabla }_{\mathbf{x}}L({\mathbf{x}}^{\ast },{\mu }^{\ast },{\lambda }^{\ast })=\nabla f({\mathbf{x}}^{\ast })+\sum _{i=1}^m{\mu }_i^{\ast }\nabla g_i({\mathbf{x}}^{\ast })+\sum _{j=1}^n{\lambda }_j^{\ast }\nabla h_j({\mathbf{x}}^{\ast })=0\\ h_j({\mathbf{x}}^{\ast })=0,j=1,\dots ,n\\ g_i({\mathbf{x}}^{\ast })\le 0,i=1,\dots ,m\\ {\mu }_i^{\ast }\ge 0,i=1,\dots ,m\\ {\mu }_i^{\ast }{g}_i({\mathbf{x}}^{\ast })=0,i=1,\dots ,m\end{array}$$

拉格朗日对偶函数

对于一般约束优化问题
$$\begin{gathered} \min f(\mathbf{x}) \\ \text{s.t.}{g}_i(\mathbf{x})\le 0,i=1,\dots ,m \\ {h}_j(\mathbf{x})=0,j=1,\dots ,n \end{gathered}$$
设上述优化问题的定义域为$D$，可行集为$\bar{D}$，最优值为 p ∗ = min ⁡ { f ( x ) } , x ∈ D ˉ p^* = \min\{f(\mathbf{x})\}, \mathbf{x}\in\bar{D} p∗=min{f(x)},x∈Dˉ。上述优化问题的拉格朗日函数为
$$L(\mathbf{x},\mu ,\lambda )=f(\mathbf{x})+\sum _{i=1}^m{\mu }_i{g}_i(\mathbf{x})+\sum _{j=1}^n{\lambda }_j{h}_j(\mathbf{x})$$
其中$\mu =({\mu }_i{)}_{i=1}^m$，$\lambda =({\lambda }_i{)}_{j=1}^n$为拉格朗日乘子向量，相应的拉格朗日对偶函数$\Gamma (\mu ,\lambda )$定义为$L(\mathbf{x},\mu ,\lambda )$的下确界，即
$$\Gamma (\mu ,\lambda )=\underset{\mathbf{x}\in D}{\inf }L(\mathbf{x},\mu ,\lambda )=\underset{\mathbf{x}\in D}{\inf }\left(f(\mathbf{x})+\sum _{i=1}^m{\mu }_i{g}_i(\mathbf{x})+\sum _{j=1}^n{\lambda }_j{h}_j(\mathbf{x})\right)$$
对偶函数具有如下性质：

• 无论上述优化问题是否为凸优化问题，其对偶函数$\Gamma (\mu ,\lambda )$恒为凹函数。
• 当${\mu }_i\ge 0,i=1,\dots ,m$时，$\Gamma (\mu ,\lambda )$构成上述优化问题最优值$p^{\ast }$的下界即
  $$\Gamma (\mu ,\lambda )\le p^{\ast }$$

拉格朗日对偶问题

在${\mu }_i\ge 0,i=1,\dots ,m$的约束下求对偶函数的最大值的优化问题称为拉格朗日对偶问题
$$\begin{gathered} \max \Gamma (\mu ,\lambda ) \\ \text{s.t.}{\mu }_i\ge 0,i=1,\dots ,m \end{gathered}$$
之前的优化问题称为主问题或者原问题。

假设对偶问题的最优值为$d^{\ast }$，由于$\Gamma (\mu ,\lambda )\le p^{\ast }$可知，$d^{\ast }\le p^{\ast }$，此时称为“弱对偶性”成立；如果有$d^{\ast }=p^{\ast }$，则称为“强对偶性”成立。当主问题求解困难时，如果强对偶性成立，我们通过求解对偶问题来间接求解主问题。

一般情况下，强对偶性并不成立，只有当主问题满足特定的约束限制条件时才成立，常见的比如说“Slater 条件”，Slater条件的一种定义为，对于一个凸问题，若不等式约束为仿射约束，只要可行域非空，那么该凸问题和它的对偶问题一定是强对偶。观察SVM的基本型可以看出，满足Slater条件，因此强对偶性成立。

SVM基本型

对于SVM的基本型
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2 \\ \text{s.t.}{y}_i({\mathbf{w}}^{\top }{\mathbf{x}}_{\mathbf{i}}+b)\ge 1,i=1,\dots ,m \end{gathered}$$
我们注意到目标函数$1/2\Vert \mathbf{w}{\Vert }^2$是凸二次函数，并且不等约束均为仿射函数，显然这是一个凸优化问题。同时可以注意到其满足Slater条件，因此我们可以通过求解其对偶问题来间接求解原问题。

首先我们写出SVM基本型的拉格朗日函数
$$L(\mathbf{w},b,\lambda )=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\lambda }_i(1-y_i({\mathbf{w}}^{\top }{\mathbf{x}}_{\mathbf{i}}+b))$$
根据拉格朗日对偶函数的定义$\Gamma (\lambda )={\inf }_{(\mathbf{w},b)\in D}L(\mathbf{w},b,\lambda )$，同时我们可以发现$L(\mathbf{w},b,\lambda )$也是凸函数，因此我们分别对$\mathbf{w},b$求偏导，令其偏导数为零，然后消去$\mathbf{w},b$，即可得到${\inf }_{(\mathbf{w},b)\in D}L(\mathbf{w},b,\lambda )$，即拉格朗日对偶函数$\Gamma (\lambda )$。

令$\mathbf{w},b$的偏导数为零可得
$$\begin{gathered} \mathbf{w}=\sum _{i=1}^m{\lambda }_i{y}_i{\mathbf{x}}_{\mathbf{i}} \\ \sum _{i=1}^m{\lambda }_i{y}_i=0 \end{gathered}$$
代入拉格朗日函数后，可得拉格朗日对偶函数
$$\Gamma (\lambda )=\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{{\mathbf{x}}_{\mathbf{i}}}^{\top }{\mathbf{x}}_{\mathbf{j}}$$
因此SVM基本型的对偶问题为
$$\begin{gathered} \underset{\lambda }{\max }\Gamma (\lambda )=\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{{\mathbf{x}}_{\mathbf{i}}}^{\top }{\mathbf{x}}_{\mathbf{j}} \\ \text{s.t.}{\lambda }_i\ge 0,i=1,\dots ,m \\ \sum _{i=1}^m{\lambda }_i{y}_i=0 \end{gathered}$$
其中对偶问题的第一个约束条件是根据拉格朗日对偶问题的定义，第二个约束条件来自于令$b$偏导数为零产生的约束。为什么令$\mathbf{w}$偏导数为零的约束不在里面呢？实际上已经隐含在$\Gamma (\lambda )$中了。根据对偶问题，解得$\lambda$后，即可得到模型
$$f(\mathbf{x})=\sum _{i=1}^m{\lambda }_i{y}_i{{\mathbf{x}}_{\mathbf{i}}}^{\top }\mathbf{x}+b$$
如何确定参数$b$呢？我们注意到支持向量$({\mathbf{x}}_s,y_s)$都有$y_{s}f({\mathbf{x}}_s)=1$，即
$$y_s\left(\sum _{i\in S}{\lambda }_i{y}_i{{\mathbf{x}}_{\mathbf{i}}}^{\top }{\mathbf{x}}_s+b\right)=1$$
其中$S$为所有支持向量的下标集合，通过上式我们即可求出$b$。可以看出，理论上只需要一个支持向量，即可求出参数$b$，但是实际中我们希望得到一个更加鲁棒的$b$，我们采用使用所有支持向量求解的均值
$$b=\frac{1}{|S|}\sum _{s\in S}\left(1/y_s-\sum _{i\in S}{\lambda }_i{y}_i{{\mathbf{x}}_{\mathbf{i}}}^{\top }{\mathbf{x}}_{\mathbf{s}}\right)$$
此时我们可以发现，只需要确定$\lambda$，那么参数$\mathbf{w},b$都将随之得出。也许你此时会产生以下两个疑问：

• 为什么弄这么麻烦？直接求原问题把$\mathbf{w},b$都直接解出来不就好了？
• 既然参数$\mathbf{w},b$都要根据$\lambda$才能求解，那么$\lambda$怎么求呢？

这里我们首先回答第一个问题。利用对偶问题间接的求解参数的原因有两点：

• 一方面是，原问题中我们要求的$\mathbf{w}$的维数为$d$，对应样本特征个数，而对偶问题要求的$\lambda$的维数为$m$，对应样本点的个数。一般情况下$m⋘d$，因此求解对偶问题更加高效。
• 另一方面，对偶问题中存在${{\mathbf{x}}_{\mathbf{i}}}^{\top }{\mathbf{x}}_{\mathbf{j}}$这一项，这便于引入核方法，进而使得支持向量机也能对在原始特征空间线性不可分的数据进行分类。

对于第二个问题，我们可以发现这是一个二次规划问题，可能可以用二次规划算法求解，但是该问题的规模正比于训练样本数，实际过程中可能会造成很大的开销，因此我们需要避开这个障碍。SMO是避开障碍的一种方法，这里我们只简单介绍SMO的基本思路。

SMO的基本思路是，先固定除了${\lambda }_i$以外的所有参数，然后求${\lambda }_i$上的极值。由于我们这个问题存在约束${\sum }_{i=1}^m{\lambda }_i{y}_i=0$，因此如果固定除了${\lambda }_i$以外的所有参数，${\lambda }_i$也会被其他参数推导出，因此我们每次选取${\lambda }_i,{\lambda }_j$。具体为

• 选取一对亟需更新的变量${\lambda }_i,{\lambda }_j$
• 固定其他参数，求目标函数极值

此时我们基本上解决了这个对偶问题，容易发现${\lambda }_i$是$({\mathbf{x}}_{\mathbf{i}},y_i)$的拉格朗日乘子，观察原问题的KKT条件
$$\{\begin{array}{r}{\lambda }_i\ge 0\\ y_{i}f({\mathbf{x}}_i)-1\ge 0\\ {\lambda }_i(y_{i}f({\mathbf{x}}_{\mathbf{i}})-1)=0\end{array}$$
可以发现对于任意的训练样本总有${\lambda }_i=0$或者$y_{i}f({\mathbf{x}}_{\mathbf{i}})=1$，若${\lambda }_i=0$，那么这一项将不会在最终的模型中表现出来，也就是说对$f(\mathbf{x})$没有任何影响；${\lambda }_i>0$，那么必定有$y_{i}f({\mathbf{x}}_{\mathbf{i}})=1$，即该样本是支持向量，因此我们可以发现，当训练完成之后，我们只需要保留支持向量即可得到模型$f(\mathbf{x})$，实际上支持向量机这个名字强调了此类学习器的关键是如何根据支持向量构建出解。

终于，我们成功推导完了SVM的基本型！！不用担心，之后的推导都大同小异，理解了SVM的基本型推导，后续就会变得十分容易。

核函数

在之前的讨论中，我们假设样本是线性可分的，即假设存在一个超平面能使训练样本正确分类，但是如果不存在这样一个超平面怎么办呢？

此时我们可以将样本从原始空间映射到高维空间，使得样本在这个高维空间内线性可分。并且我们可以确定的是，如果原始空间是有限维的，那么一定存在一个高维特征空间是样本线性可分。

令$\varphi (\mathbf{x})$是样本$\mathbf{x}$映射后的向量，于是在高维空间中的划分超平面可以表示为
$$f(\mathbf{x})={\mathbf{w}}^{\top }\varphi (\mathbf{x})+b$$
进而我们可以得出
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2 \\ \text{s.t.}{y}_i({\mathbf{w}}^{\top }\varphi ({\mathbf{x}}_{\mathbf{i}})+b)\ge 1,i=1,\dots ,m \end{gathered}$$
其对偶问题可以求得
$$\begin{gathered} \underset{\lambda }{\max }\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^{\top }\varphi ({\mathbf{x}}_{\mathbf{j}}) \\ \text{s.t.}\sum _{i=1}^m{\lambda }_i{y}_i=0 \\ {\lambda }_i\ge 0,i=1,\dots ,m \end{gathered}$$
我们可以注意到$\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^{\top }\varphi ({\mathbf{x}}_{\mathbf{j}})$是在高维映射空间中的内积，直接计算通常比较困难，为了避开这个障碍我们设想这样一个函数
$$\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^{\top }\varphi ({\mathbf{x}}_{\mathbf{j}})$$
此时我们就不必计算高维映射空间中的内积了，其对偶问题可以重写为
$$\begin{gathered} \underset{\lambda }{\max }\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}}) \\ \text{s.t.}\sum _{i=1}^m{\lambda }_i{y}_i=0 \\ {\lambda }_i\ge 0,i=1,\dots ,m \end{gathered}$$
求解后可以得到
$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^{\top }\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\lambda }_i{y}_i\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^{\top }\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\lambda }_i{y}_i\kappa ({\mathbf{x}}_{\mathbf{i}},\mathbf{x})+b\end{array}$$
其中$\kappa (\cdot ,\cdot )$代表核函数，通常来说只要已知$\varphi (\cdot )$就可以写出核函数$\kappa (\cdot ,\cdot )$，然而我们通常不知道$\varphi (\cdot )$是什么形式。事实上，我们并不需要选择映射$\varphi (\cdot )$，对于一个半正定核矩阵
$$K=\left[\begin{array}{ccc}\kappa ({\mathbf{x}}_1,{\mathbf{x}}_1)& \dots & \kappa ({\mathbf{x}}_1,{\mathbf{x}}_{\mathbf{m}})\\ ⋮& \ddots & ⋮\\ \kappa ({\mathbf{x}}_{\mathbf{m}},{\mathbf{x}}_1)& \dots & \kappa ({\mathbf{x}}_{\mathbf{m}},{\mathbf{x}}_{\mathbf{m}})\end{array}\right]$$
总能找到一个与之对应的映射$\varphi (\cdot )$，于是，核函数的选择称为了支持向量机的最大变数，如果核函数选择的不合适，那么样本将会被映射到一个不合适的特征空间，导致性能不佳。这里罗列一下核函数的选择和性质：

• 对于文本数据我们一般采用线性核函数，情况不明先采用高斯核
• 核函数${\kappa }_1,{\kappa }_2$的线性组合${\gamma }_1{\kappa }_1+{\gamma }_2{\kappa }_2$依然是核函数
• 核函数${\kappa }_1,{\kappa }_2$的直积${\kappa }_1(\mathbf{x},\mathbf{y}){\kappa }_2(\mathbf{x},\mathbf{y})$也是核函数
• 核函数${\kappa }_1$，对于任意函数$g(\mathbf{x})$，$g(\mathbf{x})k_1(\mathbf{x},\mathbf{y})g(\mathbf{y})$也是核函数

软间隔与正则化

在实际问题中，经常遇到以下几个难点:

• 很难找到一个核函数使得样本在特征空间中线性可分
• 即便找到了对于的核函数，并且样本线性可分了，也很难断定这个结果是否是过拟合产生的结果

为了缓解这个问题，我们允许支持向量机在少数的一些样本上出错，这也就引出了“软间隔”的概念。前面介绍的支持向量机的形式，对于任意样本$({\mathbf{x}}_{\mathbf{i}},y_i)$均需要满足约束
$$y_i({\mathbf{w}}^{\top }\mathbf{x}+b)\ge 1$$
这称为“硬间隔”，要如何引入软间隔呢？我们可以在最大化间隔的同时，让出错的样本尽可能的少，于是优化目标可以写成
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{l}_{0/1}(y_i({\mathbf{w}}^{\top }{\mathbf{x}}_{\mathbf{i}}+b)-1)$$
其中$C>0$是一个常数，$l_{0/1}$为
$$l_{0/1}(z)=\{\begin{array}{r}1,z<0\\ 0,z\ge 0\end{array}$$
显然当$C\to \infty$时，将迫使所有的样本均分类正确；当$C$取有限值时，允许一些样本出错。然而$l_{0/1}$非凸不连续，数学性质不好，因此我们需要用其他函数代替，一般有以下三种代替函数：

• hinge损失：$l_{\text{hinge}}(z)=\max (0,1-z)$
• 指数损失：$l_{\text{exp}}(z)=\exp (-z)$
• 对率损失：$l_{\text{log}}(z)=\log (1+\exp (-z))$

若采用hinge损失，则优化目标可以写成
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m\max (0,1-y_i({\mathbf{w}}^{\top }\mathbf{x}+b))$$
此时我们令
$${\xi }_i=\max (0,1-y_i({\mathbf{w}}^{\top }\mathbf{x}+b))$$
因此当$1-y_i({\mathbf{w}}^{\top }\mathbf{x}+b)\ge 0$时，${\xi }_i=1-y_i({\mathbf{w}}^{\top }\mathbf{x}+b)$，反之${\xi }_i>1-y_i({\mathbf{w}}^{\top }\mathbf{x}+b)$，因此有
$$\begin{gathered} y_i({\mathbf{w}}^{\top }\mathbf{x}+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0 \end{gathered}$$
故引入${\xi }_i$后的优化目标为（${\xi }_i$称为“松弛变量”）
$$\begin{gathered} \underset{\mathbf{w},b,{\xi }_i}{\min }\frac{1}{2}+C\sum _{i=1}^m{\xi }_i \\ \text{s.t.}{y}_i({\mathbf{w}}^{\top }\mathbf{x}+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0,i=1,\dots ,m \end{gathered}$$
显然${\xi }_i$代表样本$({\mathbf{x}}_{\mathbf{i}},y_i)$不满足约束$y_i({\mathbf{w}}^{\top }{\mathbf{x}}_{\mathbf{i}}+b)\ge 1$的程度。求解上述问题，与求解SVM基本型的方法类似，首先求出其拉格朗日函数
$$\begin{gathered} L(\mathbf{w},b,\lambda ,\mu ,\xi )=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i \\ +\sum _{i=1}^m{\lambda }_i(1-{\xi }_i-y_i({\mathbf{w}}^{\top }{\mathbf{x}}_{\mathbf{i}}+b))-\sum _{i=1}^m{\mu }_i{\xi }_i \end{gathered}$$
由于目标函数是凸函数，不等式约束均为仿射约束，满足Slater条件因此强对偶性成立，并且分别$\mathbf{w},b,\xi$的偏导数为0，即可求出拉格朗日函数的下界，即拉格朗日对偶函数，从而可求出对偶问题
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{{\mathbf{x}}_{\mathbf{i}}}^{\top }{\mathbf{x}}_{\mathbf{j}} \\ \text{s.t.}\sum _{i=1}^m{\lambda }_i{y}_i=0, \\ 0\le {\lambda }_i\le C,i=1,\dots ,m \end{gathered}$$
可以看出软间隔的对偶问题和硬间隔的对偶问题的唯一差异在于，前者的对偶变量约束为$0\le {\lambda }_i\le C$，后者的对偶变量约束为${\lambda }_i\ge 0$，因此可以用相同的求解方式求解，引入核函数后也一样。

我们考虑软间隔支持向量机的KKT条件
$$\{\begin{array}{r}{\lambda }_i\ge 0,{\mu }_i\ge 0\\ y_{i}f({\mathbf{x}}_{\mathbf{i}})-1+{\xi }_i\ge 0\\ {\lambda }_i(y_{i}f({\mathbf{x}}_{\mathbf{i}})-1+{\xi }_i)=0\\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0\\ {\lambda }_i+{\mu }_i=C\\ \sum _{i=1}^m{\lambda }_i{y}_i=0\end{array}$$
我们可以发现，对于任意训练样本$({\mathbf{x}}_{\mathbf{i}},y_i)$，总有${\lambda }_i=0$或者$y_{i}f({\mathbf{x}}_{\mathbf{i}})-1+{\xi }_i=0$，若${\lambda }_i=0$，该样本对$f(\mathbf{x})$没有任何影响，若$y_{i}f({\mathbf{x}}_{\mathbf{i}})-1+{\xi }_i=0$，那么该样本是支持向量。如果$0<{\lambda }_i<C$，那么${\mu }_i\ne 0$，进而有${\xi }_i=0$，这说明该支持向量位于最大间隔的边界；若${\lambda }_i=C$，则${\mu }_i=0$，此时如果$\lambda \le 1$，那么说明该支持向量位于间隔内部，反之说明被错误分类。由此可以看出，软间隔的支持向量机的最终模型也仅和支持向量有关。

适当推广一下，我们将原问题写成更一般的形式
$$\underset{f}{\min }\Omega (f)+C\sum _{i=1}^{m}l(f({\mathbf{x}}_{\mathbf{i}}),y_i)$$
其中$\Omega (f)$称为结构风险，用于描述$f$的某些性质；第二项${\sum }_{i=1}^{m}l(f({\mathbf{x}}_{\mathbf{i}}),y_i)$称为经验风险，用于描述模型与数据的契合程度；常数$C$用于折中二者。

松弛变量与hinge损失为何等价？

我们发现如果单纯考虑${\xi }_i$的约束条件，只要${\xi }_i$取的足够大，约束条件是都满足的，此时我们可能会认为，hinge损失和引入松弛变量${\xi }_i$似乎并不等价。

但是注意，我们不能忽略我们要求目标函数的最小值，因此对于每个${\xi }_i$，我们都应该取满足约束条件的最小值，此时松弛变量和hinge损失函数就是等价的了。

支持向量回归（SVR）

现在我们考虑回归问题，假设我们最多能容忍$f(\mathbf{x})$与$y$之间最多有$ϵ$的偏差，也就是说只有当$f(\mathbf{x})$和$y$之间的差别大于$ϵ$的时候才计算损失，这相当于是以$f(\mathbf{x})$为中心构建了一个宽度为$2ϵ$的间隔带，只要样本落入间隔带中，我们认为样本预测正确，于是该问题可形式化为
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{l}_{ϵ}(f({\mathbf{x}}_{\mathbf{i}})-y_i)$$
其中$C$为常数，$l_{ϵ}$定义为
$$l_{ϵ}(z)=\{\begin{array}{r}0,|z|\le ϵ\\ |z|-ϵ,其他\end{array}$$
为了引入松弛变量${\xi }_i^{+},{\xi }_i^{-}$，我们可以发现$l_{ϵ}(z)=l_{ϵ}^{+}(z)+l_{ϵ}^{-}(z)$，其中
$$l_{ϵ}^{+}(z)=\{\begin{array}{r}0,z\le ϵ\\ z-ϵ,z>ϵ\end{array}{l}_{ϵ}^{-}(z)=\{\begin{array}{r}0,z\ge -ϵ\\ -z-ϵ,z<-ϵ\end{array}$$

我们令${\xi }_i^{+}=l_{ϵ}^{+}(f({\mathbf{x}}_{\mathbf{i}}),y_i),{\xi }_i^{-}=l_{ϵ}^{-}(f({\mathbf{x}}_{\mathbf{i}}),y_i)$，可得
$${\xi }_i^{+}\ge f({\mathbf{x}}_{\mathbf{i}})-y_i-{ϵ}_i{\xi }_i^{-}\ge y_i-f({\mathbf{x}}_{\mathbf{i}})-{ϵ}_i$$
进而有
$$\begin{gathered} \underset{\mathbf{w},b,{\xi }_i^{+},{\xi }_i^{-}}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m({\xi }_i^{+}+{\xi }_i^{-}) \\ \text{s.t.}f({\mathbf{x}}_{\mathbf{i}})-y_i\le ϵ+{\xi }_i^{+} \\ {y}_i-f({\mathbf{x}}_{\mathbf{i}})\le ϵ+{\xi }_i^{-} \\ {\xi }_i^{+}\ge 0,{\xi }_i^{-}\ge 0 \end{gathered}$$
这里我们写出其拉格朗日函数
$$\begin{array}{rl}& L(\mathbf{w},b,{\lambda }^{+},{\lambda }^{-},{\xi }^{+},{\xi }^{-},{\mu }^{+},{\mu }^{-})\\ & =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m({\xi }_i^{+}+{\xi }_i^{-})-\sum _{i=1}^m{\mu }_i^{+}{\xi }_i^{+}-\sum _{i=1}^m{\mu }_i^{-}{\xi }_i^{-}\\ & +\sum _{i=1}^m{\lambda }_i^{+}(f({\mathbf{x}}_{\mathbf{i}})-y_i-ϵ-{\xi }_i^{+})+\sum _{i=1}^m{\lambda }_i^{-}(f({\mathbf{x}}_{\mathbf{i}})-y_i-ϵ-{\xi }_i^{-})\end{array}$$
然后分别对$\mathbf{w},b,{\xi }_i^{+},{\xi }_i^{-}$求偏导数，令偏导数为零，代入拉格朗日函数即可得到其对偶问题
$$\begin{gathered} \underset{{\lambda }^{+},{\lambda }^{-}}{\max }\sum _{i=1}^m\left(y_i({\lambda }_i^{-}-{\lambda }_i^{+})-ϵ({\lambda }_i^{-}+{\lambda }_i^{+})\right) \\ -\frac{1}{2}\sum _{i=1}^m\sum _{i=1}^m({\lambda }_i^{-}-{\lambda }_i^{+})({\lambda }_j^{-}-{\lambda }_j^{+}){{\mathbf{x}}_{\mathbf{i}}}^{\top }{\mathbf{x}}_{\mathbf{j}} \\ \text{s.t.}\sum _{i=1}^m({\lambda }_i^{-}-{\lambda }_i^{+})=0 \\ 0\le {\lambda }_i^{-},{\lambda }_i^{+}\le C \end{gathered}$$
上述问题的KKT条件为
$$\{\begin{array}{r}\mathbf{w}=\sum _{i=1}^m({\lambda }_i^{-}-{\lambda }_i^{+}){\mathbf{x}}_{\mathbf{i}}\\ \sum _{i=1}^m({\lambda }_i^{-}-{\lambda }_i^{+})=0\\ {\lambda }_i^{+}+{\mu }_i^{+}=0,{\lambda }_i^{-}+{\mu }_i^{-}=0\\ {\lambda }_i^{+}(f({\mathbf{x}}_{\mathbf{i}})+y_i-ϵ-{\xi }_i^{+})=0\\ {\lambda }_i^{-}(f({\mathbf{x}}_{\mathbf{i}})+y_i-ϵ-{\xi }_i^{-})=0\\ {\lambda }_i^{+}{\lambda }_i^{-}=0,{\xi }_i^{+}{\xi }_i^{-}=0\\ (C-{\lambda }_i^{+}){\xi }_i^{+}=0,(C-{\lambda }_i^{-}){\xi }_i^{-}=0\end{array}$$
可以看出，只有当$f({\mathbf{x}}_{\mathbf{i}})+y_i-ϵ-{\xi }_i^{+}=0$或者$f({\mathbf{x}}_{\mathbf{i}})+y_i-ϵ-{\xi }_i^{-}=0$时，${\lambda }_i^{+}$和${\lambda }_i^{-}$才有可能取非零值，并且$f({\mathbf{x}}_{\mathbf{i}})+y_i-ϵ-{\xi }_i^{+}=0$和$f({\mathbf{x}}_{\mathbf{i}})+y_i-ϵ-{\xi }_i^{-}=0$不能同时成立，也就是说只有当样本$({\mathbf{x}}_{\mathbf{i}},y_i)$落在间隔带之外，${\lambda }_i^{+}$和${\lambda }_i^{-}$才有可能取非零值。

同时我们可以得出SVR的解
$$f(\mathbf{x})=\sum _{i=1}^m({\lambda }_i^{-}-{\lambda }_i^{+}){{\mathbf{x}}_{\mathbf{i}}}^{\top }\mathbf{x}+b$$
能使${\lambda }_i^{-}-{\lambda }_i^{+}\ne 0$的样本即为SVR的支持向量，可知SVR的支持向量必然落在$ϵ$-间隔带之外。SVR的支持向量仅为训练样本的一部分，其解依然具有稀疏性。

关于$b$的求解，对于每个样本$({\mathbf{x}}_{\mathbf{i}},y_i)$都有$(C-{\lambda }_i){\xi }_i=0$且${\lambda }_i(f({\mathbf{x}}_{\mathbf{i}})-y_i-ϵ+{\xi }_i)=0$，于是，得到${\lambda }_i$之后，只要$0<{\lambda }_i<C$，则必有${\xi }_i=0$，进而可以得出
$$f({\mathbf{x}}_{\mathbf{i}})-y_i-ϵ+{\xi }_i=0$$
因此$b$可以求出（$b$包含在$f({\mathbf{x}}_{\mathbf{i}})$中，展开变形即可）。实践中采用更鲁棒的方法，选取多个满足$0<{\lambda }_i<C$的样本，求解出对应的$b$后取平均值。

在考虑特征映射，则SVR可以表示为
$$f(\mathbf{x})=\sum _{i=1}^m({\lambda }_i^{-}-{\lambda }_i^{+})\kappa ({\mathbf{x}}_{\mathbf{i}},\mathbf{x})+b$$
其中$\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^{\top }\varphi ({\mathbf{x}}_{\mathbf{j}})$为核函数，由此我们完成了支持向量回归的相关推导。