[基本功]支持向量机（SVM）理论知识

本文参考李航的《统计学习方法》撰写

一、SVM的主要特征

• 二分类模型
• 定义在特征空间上的间隔最大的线性分类器（间隔最大使它有别于感知机）
• 判别模型，与概率无关
• SVM有三宝，间隔、对偶、核技巧
• 核技巧可以使SVM成为实质上的非线性分类器

二、硬间隔SVM（线性可分支持向量机）

训练目标

假设给定一个训练数据集：
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1),(x2​,y2​),...,(xN​,yN​)}
其中，$x_i\in X=R^n$， y i ∈ Y = { + 1 , − 1 } y_i \in Y = \{+1,-1\} yi​∈Y={+1,−1}

对于线性可分的数据，我们想要得到的分类器：
$$f(w)=sign(wx+b)$$
$wx+b=0$就是分离超平面。于是我们需要训练得到该模型的参数，也就是w和b。

这里介绍两个概念，分别是函数间隔和几何间隔：

• 函数间隔：

  超平面(w,b)关于样本点$(x_i,y_i)$的函数间隔为$\widehat{{\gamma }_i}=y_i(w\cdot x_i+b)$

  超平面(w,b)关于训练数据集$T$的函数间隔为$\hat{\gamma }=min\widehat{{\gamma }_i}$

• 几何间隔：

  超平面(w,b)关于样本点$(x_i,y_i)$的几何间隔为${\gamma }_i=y_i(\frac{w}{||w||}{x}_i+\frac{b}{||w||})$

  超平面(w,b)关于训练数据集$T$的几何间隔为$\gamma =min{\gamma }_i$

SVM的训练目标是①能够正确划分训练数据集②使几何间隔最大（硬间隔最大化），整理成数学形式就是：
$$\begin{gathered} ma{x}_{w,b}\gamma \\ s.t.y_i\ast \frac{1}{||w||}(w\cdot x_i+b)>=\gamma \end{gathered}$$
也就等价于：
$$\begin{gathered} ma{x}_{w,b}\frac{\hat{\gamma }}{||w||} \\ s.t.y_i(w\cdot x_i+b)>=\hat{\gamma } \end{gathered}$$
注意到函数间隔$\hat{\gamma }$的取值并不影响优化问题的解，不妨取1代入，并将最大化$\frac{1}{||w||}$等价替换成最小化$\frac{1}{2}||w|{|}^2$
$$\begin{gathered} mi{n}_{w,b}\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\cdot x_i+b)-1>=0 \end{gathered}$$
这是一个凸二次规划问题（目标函数为二次函数；约束函数是线性函数）。

这里再介绍两个概念：

• 支持向量：

  在线性可分情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例。

  即使$y_i(w\cdot x_i+b)-1=0$成立的点

  在决定分离超平面时只有支持向量起作用，其他实例点并不起作用，故该模型称为支持向量机

• 间隔：

  $w\cdot x+b=1$和$w\cdot x+b=-1$的距离，等于$\frac{2}{||w||}$

对偶算法进行学习

• 对偶算法：为了求解SVM的最优化问题，将其作为原始问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解

• 对偶目的：①对偶问题往往更容易求解；②自然引入核函数，推广到非线性分类问题

• 步骤：

  1、构建拉格朗日函数：
  $$\begin{gathered} L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i \\ 其中{\alpha }_i>=0 \end{gathered}$$
  2、原始问题（极小极大问题）：
  $$\begin{gathered} mi{n}_{w,b}ma{x}_{\alpha }L(w,b,\alpha ) \\ s.t.{\alpha }_i>=0 \end{gathered}$$
  3、对偶问题（极大极小问题）：
  $$\begin{gathered} ma{x}_{\alpha }mi{n}_{w,b}L(w,b,\alpha ) \\ s.t.{\alpha }_i>=0 \end{gathered}$$
  4、求$mi{n}_{w,b}L(w,b,\alpha )$：

  ​ 令偏导数为0：
  $${\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$

  $${\nabla }_{b}L(w,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$

  ​ 得到：
  $$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
  ​ 代入拉格朗日函数，得到：
  $$\begin{gathered} L(w,b,\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i{y}_i((\sum _{j=1}^N{\alpha }_j{y}_j{x}_j)\cdot x_i+b)+\sum _{i=1}^N{\alpha }_i \\ =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \end{gathered}$$
  ​ 即：
  $$mi{n}_{w,b}L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
  5、求$ma{x}_{\alpha }mi{n}_{w,b}L(w,b,\alpha )$，即对偶问题：
  $$\begin{gathered} ma{x}_{\alpha }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \\ s.t.{\alpha }_i>=0, \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
  ​ 等价于：
  $$\begin{gathered} ⭐mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.{\alpha }_i>=0, \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$
  ​ ⭐可由此求得最优解${\alpha }^{\ast }$

  6、由于强对偶关系成立，故满足KKT条件，故可由KKT条件（下面有详细说明）求得$w,b$的值：
  $$\begin{gathered} {\nabla }_{w}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0 \\ {\nabla }_{b}L(w^{\ast },b^{\ast },{\alpha }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0 \\ {\alpha }_i^{\ast }(y_i(w^{\ast }\cdot x_i+b^{\ast })-1)=0 \\ {y}_i(w^{\ast }\cdot x_i+b^{\ast })-1>=0 \\ {\alpha }_i^{\ast }>=0 \end{gathered}$$
  ​ 由此得：
  $$⭐w^{\ast }=\sum _i{\alpha }_i^{\ast }{y}_i{x}_i$$
  ​ 至少有一个${\alpha }_j^{\ast }>0$（假设${\alpha }^{\ast }=0$，则$w^{\ast }=0$，显然不行），故有对应的：
  $$y_j(w^{\ast }\cdot x_j+b^{\ast })-1=0$$

  $$⭐b^{\ast }=y_j-w^{\ast }\cdot x_j=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$

  7、得到分离超平面：
  $$⭐\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0$$
  ​ 得到分类决策函数：
  $$⭐f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast })$$
  ​ 可以发现，分类决策函数只依赖于输入x和训练样本输入的内积，且只受支持向量（（${\alpha }_i^{\ast }>0$）的样本点）影响。

  8、小结：

  ​ 对于线性可分训练数据集，首先求对偶问题的解${\alpha }^{\ast }$，再利用KKT条件求得$w^{\ast },b^{\ast }$，从而得到分离超平面及分类决策函数。

• 原始问题和对偶问题的关系：

  • 弱对偶关系：
    $$minmaxL>=maxminL$$

  • 强对偶关系：
    $$maxminL=minmaxL$$

  • 补充定理：

    • 假设原问题为：

    $$\begin{gathered} mi{n}_{x}f(x) \\ s.t.c_i(x)<=0, \\ {h}_j(x)=0 \end{gathered}$$

    ​ 拉格朗日函数为：
    $$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$

    • 定理1：如果①$f(x)$和$x_i(x)$是凸函数，$h_j(x)$是仿射函数；②不等式约束$c_i(x)$严格可行（存在$x$，对所有$i$有$c_i(x)<0$），那么存在$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$使得$x^{\ast }$是原问题的解，${\alpha }^{\ast },{\beta }^{\ast }$为对偶问题的解，且$p^{\ast }=d^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$

    • 定理2：假设$f(x)$和$x_i(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式约束$c_i(x)$严格可行，则$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足以下KKT条件：
      $$\begin{gathered} {\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\alpha }_i^{\ast }{c}_i(x^{\ast })=0 \\ {c}_i(x^{\ast })<=0 \\ {\alpha }_i^{\ast }>=0 \\ {h}_j(x^{\ast })=0 \end{gathered}$$

  • 简单来说，若原始问题满足定理1，即可使得强对偶关系成立，即原问题和对偶问题等价

三、软间隔SVM（线性支持向量机）

训练目标

• 针对：假设训练数据集不是线性可分的，通常情况是训练数据中有一些特异点，将这些特异点取出后，剩下大部分的样本点组成的集合是线性可分的。

• 线性不可分意味着某些样本点$(x_i,y_i)$不能满足函数间隔大于等于1的约束条件。对此，可以对每个样本点引进一个松弛变量${\xi }_i>=0$，使得函数间隔加上松弛变量大于等于1。约束条件变为$y_i(w\cdot x_i+b)>=1-{\xi }_i$

• 对每个松弛变量支付一个代价。目标函数变为$\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\xi }_i$。$C>0$称为惩罚参数。这样目标函数最小化：①使间隔尽量大；②误分类点的个数尽量小

• 故原始问题：(w解唯一，b解可能不唯一，而是存在于一个区间)
  $$\begin{gathered} mi{n}_{w,b,\xi }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i \\ s.t.y_i(w\cdot x_i+b)>=1-{\xi }_i \\ {\xi }_i>=0 \end{gathered}$$

对偶算法进行学习

步骤：

1、拉格朗日函数：
$$\begin{gathered} L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w\cdot x_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i \\ 其中，{\alpha }_i>=0，{\mu }_i>=0 \end{gathered}$$
2、求$mi{n}_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$
$$\begin{gathered} {\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0 \end{gathered}$$
​ 故有：
$$mi{n}_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
3、再对$\alpha$求极大即可得到对偶问题：
$$\begin{gathered} mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0<={\alpha }_i<=C \end{gathered}$$
​ 据此可求得${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast })T$

4、根据KKT条件求得$w^{\ast },b^{\ast }$：
$$\begin{gathered} {\nabla }_{w}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0 \\ {\nabla }_{b}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0 \\ {\nabla }_{{\xi }_i}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=C-{\alpha }_i^{\ast }-{\mu }_i^{\ast }=0 \\ {\alpha }_i^{\ast }(y_i(w^{\ast }\cdot x_i+b^{\ast })-1+{\xi }_i^{\ast })=0 \\ {\mu }_i^{\ast }{\xi }_i^{\ast }=0 \\ {y}_i(w^{\ast }\cdot x_i+b^{\ast })-1+{\xi }_i^{\ast }>=0 \\ {\xi }_i^{\ast }>=0 \\ {\alpha }_i^{\ast }>=0 \\ {\mu }_i^{\ast }>=0 \end{gathered}$$

$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \\ {b}^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\cdot x_j) \\ 其中(x_j,y_j)为0<{\alpha }_j^{\ast }<C对应的样本点 \end{gathered}$$
5、分类超平面：
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0$$
​ 分类决策函数：
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast })$$
​ 软间隔的支持向量或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在分离超平面误分一侧。若${\alpha }_i^{\ast }<C$，则${\xi }_i=0$，样本点恰好落在间隔边界上；若${\alpha }_i^{\ast }=0$，则该样本点不是支持向量；若${\alpha }_i^{\ast }=C,0<{\xi }_i<1$，则分类正确，样本点在间隔边界和分离超平面之间；若${\alpha }_i^{\ast }=C,{\xi }_i=1$,则样本点落在分离超平面上；若${\alpha }_i^{\ast }=C,{\xi }_i>1$，则样本点落在分离超平面误分一侧

合页损失函数

线性支持向量机的另一种解释，最小化以下目标函数：
$$\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda ||w|{|}^2$$
第一项为经验损失或经验风险；第二项是系数为$\lambda$的$w$的$L_2$范数，是正则化项

• 合页损失函数(hinge loss function)：

$$L(y(w\cdot x+b))=[1-y(w\cdot x+b){]}_{+}$$

• 下标“+”表示：

$$[z{]}_{+}=\{\begin{array}{l}z,z>0\\ 0,z<=0\end{array}$$

• 含义：当样本点$(x_i,y_i)$被正确分类且函数间隔$y_i(w\cdot x_i+b)>1$时，损失是0，否则损失是$1-y_i(w\cdot x_i+b)$

• 合页损失函数形状像一个合页，故名

• 与0-1损失函数相比：0-1损失函数是二分类问题真正的损失函数，二合页损失函数是其上界。由于0-1损失函数不是连续可导的，直接优化其目标函数比较困难，可以认为线性支持向量机是优化由0-1损失函数的上界（合页损失函数）构成的目标函数。这里的上界损失函数又称为代理损失函数。

• 与虚线的损失函数$[-y_i(w\cdot x_i+b){]}_{+}$相比：虚线当样本点被正确分类时，损失是0，否则损失是$-y_i(w\cdot x_i+b)$。相比之下，合页损失函数不仅要分类正确，而且确信度足够高时损失才是0。也就是说，合页损失函数对学习有更高的要求。

四、非线性SVM（线性不可分支持向量机）

简要介绍

• 核技巧不仅应用于支持向量机，也应用于其它统计学习问题
• 如果能用一个超曲面将正负例正确分开，则称这个问题为非线性可分问题
• 核技巧概述：首先用一个变换将原空间的数据映射到新空间；然后在新空间里用线性分类学习方法训练模型

• 核函数定义：设$X$是输入空间，$H$为特征空间，如果存在一个从$X$到$H$的映射
  $$\varphi (x)=X\to H$$
  使得对所有$x,z\in X$，函数$K(x,z)$满足条件：
  $$K(x,z)=\varphi (x)\cdot \varphi (z)$$
  则称$K(x,z)$为核函数，$\varphi (x)$为映射函数。

• 核技巧想法：只定义核函数$K(x,z)$，而不显式定义$\varphi$。通常直接计算$K(x,z)$更容易。

• 对于给定的核函数，特征空间和映射函数的取法并不唯一

• 注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数（分离超平面）都只涉及输入实例和实例之间的内积，用核函数代替内积的对偶问题的目标函数为：
  $$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$
  用核函数代替内积的决策函数：
  $$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$
  等价于将原来的输入空间变换到一个新的特征空间，在新的特征空间里训练线性支持向量机。

• 当映射函数是非线性函数时，学习到的含有核函数的支持向量机是非线性分类模型

• 在实际应用中，往往依赖领域知识直接选择核函数，核函数选择的有效性需要通过实验验证。

• 函数$K(x,z)$需要满足什么条件才能成为核函数？

  • 通常所说的核函数就是正定核函数
  • 正定核的充要条件：设$K:X\ast X\to R$是对称函数，则$K(x,z)$为正定核函数的充要条件是对任意$x_i\in X$，$K(x,z)$对应的Gram矩阵$K=[K(x_i,x_j){]}_{m\ast m}$是半正定矩阵
  • 但对一个具体函数来说，验证它是否为正定核函数并不容易。在实际问题中往往应用已有的核函数

常用核函数

1、多项式核函数
$$K(x,z)=(x\cdot z+1{)}^p$$

• 对应的支持向量机是一个p次多项式分类器

• 分类决策函数：
  $$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x+1{)}^p+b^{\ast })$$

2、高斯核函数
$$K(x,z)=exp(-\frac{||x-z|{|}^2}{2{\sigma }^2})$$

• 对应的支持向量机是高斯径向基函数分类器

• 分类决策函数：
  $$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}exp(-\frac{||x-z|{|}^2}{2{\sigma }^2})+b^{\ast })$$

训练算法

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}

输出：分类决策函数

算法：

（1）选取适当的（正定）核函数$K(x,z)$和适当的参数C，构造并求解最优化问题：
$$\begin{gathered} mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0<={\alpha }_i<=C \end{gathered}$$
求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast })T$

（2）选择${\alpha }^{\ast }$的一个正分量$0<{\alpha }_j^{\ast }<C$，计算
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x_j)$$
（3）构造决策函数：
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x,x_i)+b^{\ast })$$