统计学习（八）：支持向量机

支持向量机

最大间隔分类器

什么是超平面

在 $p$ 维空间中，超平面（hyperplane） 是 $p-1$ 维的平面仿射子空间，定义为：
$${\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\cdots +{\beta }_p{X}_p=0$$
$p=2$ 时，超平面是条直线：${\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2=0$。当 ${\beta }_0=0$ 时，超平面经过原点。

向量 $\mathbf{\beta }=({\beta }_1,{\beta }_2,\cdots ,{\beta }_p)$ 称为法向量，它指向与超平面正交的方向。

如果
$${\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\cdots +{\beta }_p{X}_p>0$$
说明 $\mathbf{X}$ 位于超平面的一侧。如果
$${\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\cdots +{\beta }_p{X}_p<0$$
说明 $\mathbf{X}$ 位于超平面的另一侧。可以认为超平面将 $p$ 维空间分成了两部分。

使用分割超平面分类

假设 $\mathbf{X}$ 为 $n\times p$ 的数据矩阵，由 $p$ 维空间中的 $n$ 个训练观测组成：
$$x_1=\left(\begin{array}{c}{x}_{11}\\ ⋮\\ x_{1p}\end{array}\right),\cdots ,x_n=\left(\begin{array}{c}{x}_{n1}\\ ⋮\\ x_{np}\end{array}\right)$$
这些观测分为两个类别： y 1 , ⋯   , y n ∈ { − 1 , 1 } y_1,\cdots,y_n\in\{-1,1\} y1​,⋯,yn​∈{−1,1}，分别代表一种类别。

$f(\mathbf{X})={\beta }_0+{\beta }_1{X}_1+\cdots +{\beta }_p{X}_p$。$f(\mathbf{X})=0$ 定义为分割超平面。

分割超平面具有如下性质：
$$\begin{gathered} {\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip}>0,if{y}_i=1 \\ {\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip}<0,if{y}_i=-1 \end{gathered}$$
等价于对所有 $i=1,\cdots ,n$：
$$y_i({\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip})>0$$

最大间隔分类器

一个很自然的方法是最大间隔超平面，也叫最优分离超平面，最大间隔超平面是离训练观测最远的那个分割超平面。

首先计算每个训练观测到一个特定分割超平面的（垂直）距离，这些距离的最小值就是训练观测与分隔超平面的距离，这个距离被称作间隔（margin）。最大间隔超平面就是间隔最大的分割超平面，最大间隔超平面使得训练观测到分割超平面的间隔达到最大。接下来通过判断测试观测落在最大间隔超平面的哪一侧来判断测试观测的类别归属。这就是最大间隔分类器。

尽管最大间隔分类器通常表现很好，但是当 $p$ 过大时，最大间隔分类器也容易出现过拟合。

构建最大间隔分类器

下面考虑基于 $n$ 个训练观测 $x_1,x_2,\cdots ,x_n\in {\mathbf{R}}^p$ 和类别标签 y 1 , y 2 , ⋯   , y n ∈ { − 1 , 1 } y_1,y_2,\cdots,y_n\in\{-1,1\} y1​,y2​,⋯,yn​∈{−1,1} 的最大间隔分类器的构建。

最大间隔超平面就是如下优化问题的解：
$$\underset{{\beta }_0,{\beta }_1,\cdots ,{\beta }_p}{\max }M$$
满足
$$\begin{gathered} \sum _{j=1}^p{\beta }_j^2=1 \\ {y}_i({\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip})\ge M,i=1,\cdots ,n \end{gathered}$$
对 $y_i({\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip})\ge M,i=1,\cdots ,n$ 来说，$M$ 是正数时，其保证了每个观测都落在超平面的正确的一侧。

不过，在许多情况下，会出现线性不可分的现象。

支持向量分类器

所选的超平面能够将大部分的训练观测正确区分开来，但可能会误分小部分训练观测。所选超平面是如下优化问题的解：
$$\underset{{\beta }_0,{\beta }_1,\cdots ,{\beta }_p,{\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n}{\max }M$$
满足
$$\begin{gathered} \sum _{j=1}^p{\beta }_j^2=1 \\ {y}_i({\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip})\ge M(1-{\epsilon }_i) \\ {\epsilon }_i\ge 0,\sum _{i=1}^n{\epsilon }_i\le C \end{gathered}$$
其中，$C$ 是非负的调节参数，${\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n$ 是松弛变量（slack variable），作用是允许训练观测中有小部分观测可以落在间隔的错误的一侧或是超平面的错误的一侧。可以根据测试观测 $x^{\ast }$ 落在超平面的哪一侧来判定 $x^{\ast }$ 的类别归属，即可以根据 $f(x^{\ast })={\beta }_0+{\beta }_1{x}_1^{\ast }+\cdots +{\beta }_p{x}_p^{\ast }$ 的符号来对测试观测进行分类。

随着 $C$ 的增加，我们越来越能够容许观测穿过间隔，因此间隔也会变得越来越宽，反之变窄。

实际上，调节参数 $C$ 通常是通过交叉验证来选择的，$C$ 控制了统计学习中偏差-方差的均衡，如果 $C$ 比较小，间隔就比较窄，并且几乎不会出现穿过间隔的观测；这时分类器会高度拟合训练数据，虽然降低了偏差，但可能导致较大的方差。相反，如果 $C$ 较大，间隔就会变宽，允许较多的观测穿过间隔；这时分类器可能对数据拟合不足，虽然能够降低方差，但是可能带来较大的偏差。

狭义的支持向量机

使用非线性决策边界分类

在支持向量机中，为解决类别之间的边界可能非线性的问题，可以使用预测变量的二次多项式、三次多项式、交互项甚至更高阶的多项式来扩大特征空间，例如，可以用 $2p$ 个特征 $X_1,X_1^2,X_2,X_2^2,\cdots ,X_p,X_p^2$ 来得到支持向量分类器。

具体来讲：
$$\begin{gathered} \max M \\ 满足：y_i({\beta }_0+\sum _{j=1}^p{\beta }_{j1}{x}_{ij}+\sum _{j=1}^p{\beta }_{j2}{x}_{ji}^2)\ge M(1-{\epsilon }_i) \\ \sum _{i=1}^n{\epsilon }_i\le C,{\epsilon }_i\ge 0,\sum _{j=1}^p\sum _{k=1}^2{\beta }_{jk}^2=1 \end{gathered}$$
或者：有交互项的：$X_1^2,X_1^3,X_1{X}_2,X_1{X}_2^2,\cdots$，从一个 $p$ 维空间扩大到 $M>p$ 维空间。

例：我们使用 $(X_1,X_2,X_1^2,X_2^2,X_1{X}_2)$ 代替 $(X_1,X_2)$，决策边界的形式为：
$${\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+{\beta }_3{X}_1^2+{\beta }_4{X}_2^2+{\beta }_5{X}_1{X}_2=0$$
这就生成了非线性的决策边界。

三次的：
$${\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+{\beta }_3{X}_1^2+{\beta }_4{X}_2^2+{\beta }_5{X}_1{X}_2+{\beta }_6{X}_1^3+{\beta }_7{X}_2^3+{\beta }_8{X}_1{X}_2^2+{\beta }_9{X}_1^2{X}_2=0$$

支持向量机

支持向量机（SVM） 是支持向量分类器的一个扩展，扩展的结果是支持向量机使用了一种特殊的方式，即核函数（kernel） 来扩大特征空间。

内积（inner product）：两个 $r$ 维向量 $a$ 和 $b$ 的内积定义为 $⟨a,b⟩={\sum }_{i=1}^r{a}_i{b}_i$，因此两个观测 $x_i$ 和 $x_{i^{\prime }}$ 的内积为
$$⟨x_i,x_{i^{\prime }}⟩=\sum _{j=1}^p{x}_{ij}{x}_{i^{\prime }j}$$
线性支持向量分类器可以描述为
$$f(x)={\beta }_0+\sum _{i=1}^n{\alpha }_i⟨x,x_i⟩$$
这个式子有 $n$ 个参数 ${\alpha }_i,i=1,2,\cdots ,n$，每个训练观测对应一个参数。

为了估计参数 ${\alpha }_i,i=1,2,\cdots ,n$ 和 ${\beta }_0$，只需要所有训练观测的 $\left(\begin{array}{c}n\\ 2\end{array}\right)$ 个成对组合的内积 $⟨x_i,x_{i^{\prime }}⟩$。

事实证明，支持向量对应的 ${\alpha }_i$ 非零，并且只有支持向量对应的 ${\alpha }_i$ 非零——也就是说，如果一个训练观测并不是支持向量，那么它的 ${\alpha }_i$ 就等于0。

因此如果 $S$ 代表支持向量观测点的指标的集合，上式可以改写成：
$$f(x)={\beta }_0+\sum _{i\in S}{\alpha }_i⟨x,x_i⟩$$
该式的求和项比上面的式子要少很多。

我们用一种一般化的形式：
$$K(x_i,x_{i^{\prime }})$$
来代替内积。在这里，$K$ 是一个函数，通常称为核函数（kernel）。核函数是一类用来衡量观测之间的相似性的函数。

例如：
$$K(x_i,x_{i^{\prime }})=\sum _{j=1}^p{x}_{ij}{x}_{i^{\prime }j}$$
如果使用这种核函数，相当于使用支持向量分类器。该式称为线性核函数。

也可以选择其他形式的核函数，如：
$$K(x_i,x_{i^{\prime }})=(1+\sum _{j=1}^p{x}_{ij}{x}_{i^{\prime }j}{)}^d$$
可用来代替 ${\sum }_{j=1}^p{x}_{ij}{x}_{i^{\prime }j}$。这就是自由度为 $d$ 的多项式核函数（polynomial kernel），其中 $d$ 是正整数。在支持向量分类器的算法中使用 $d>1$ 的多项式核函数，能够生成光滑度更高的决策边界。在这种情况下：
$$f(x)={\beta }_0+\sum _{i\in S}{\alpha }_{i}K(x,x_i)$$
当 $d=1$ 时，多项式核的支持向量机就是支持向量分类器。

径向核函数（Radial Kernel）：
$$K(x_i,x_{i^{\prime }})=\exp (-\gamma \sum _{j=1}^p(x_{ij}-x_{i^{\prime }j}{)}^2)$$
$\gamma$ 是一个正常数。

多分类的SVM

“一类对一类”的分类方法

假设响应变量的类别数 $K>2$。一类对一类（OVO）分类方法，或称所有成对分类方法，需要构建 $\left(\begin{array}{c}K\\ 2\end{array}\right)$ 个SVM，每个SVM用来分隔两个类别。例如，其中一个SVM可能用来比较第 $k$ 个类别（记为+1类）和第 $k^{\prime }$ 个类别（记为-1类）。使用所有 $\left(\begin{array}{c}K\\ 2\end{array}\right)$ 个SVM对一个测试观测进行分类，然后记录这个测试观测被分到每个类别的次数。这个测试观测的最终预测类别就是预测次数最多的那一类。

“一类对其余”的分类方法

假设响应变量的类别数 $K>2$。我们用 $K$ 个SVM来拟合数据，每个SVM对 $K$ 个类别中的1个类别的观测和其他 $K-1$ 个类别的观测进行比较。记 ${\beta }_{0k},{\beta }_{1k},\cdots ,{\beta }_{pk}$ 为使用SVM比较第 $k$ 类（记为+1类）与其他 $k-1$ 类（记为-1类）的时候，拟合的参数的结果。记 $x^{\ast }$ 为一个测试观测，我们把这个观测预测为使得 ${\beta }_{0k}+{\beta }_{1k}{x}_1^{\ast }+{\beta }_{2k}{x}_2^{\ast }+\cdots +{\beta }_{pk}{x}_p^{\ast }$ 最大化的那个类别，把这个测试观测预测为第 $k$ 类。

与逻辑斯谛回归的关系

拟合支持向量分类器 $f(x)={\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\cdots +{\beta }_p{X}_p$ 的式子：
$$\begin{gathered} \underset{{\beta }_0,{\beta }_1,\cdots ,{\beta }_p,{\epsilon }_1,{\epsilon }_2,\cdots ,{\epsilon }_n}{\max }M \\ \sum _{j=1}^p{\beta }_j^2=1 \\ {y}_i({\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip})\ge M(1-{\epsilon }_i) \\ {\epsilon }_i\ge 0,\sum _{i=1}^n{\epsilon }_i\le C \end{gathered}$$
可以改写为：
min ⁡ β 0 , β 1 , ⋯   , β p { ∑ i = 1 n max ⁡ [ 0 , 1 − y i f ( x i ) ] + λ ∑ j = 1 p β j 2 } \min_{\beta_0,\beta_1,\cdots,\beta_p}\{\sum_{i=1}^n\max[0,1-y_if(x_i)]+\lambda\sum_{j=1}^p\beta_j^2\} β0​,β1​,⋯,βp​min​{i=1∑n​max[0,1−yi​f(xi​)]+λj=1∑p​βj2​}
其中，$\lambda$ 为非负的调节参数。当 $\lambda$ 较大时，${\beta }_1,\cdots ,{\beta }_p$ 较小，能容忍的穿过间隔的观测就越多，我们就会得到一个方差较小但是偏差较大的分类器。当 $\lambda$ 很小的时候，穿过间隔的观测就会很少。因此上式中较小的 $\lambda$ 值等价于较小的 $C$ 值。

该式依旧是“损失函数+惩罚项”的形式。

何时使用SVM和逻辑斯蒂回归：

1. 当不同类别的观测可以很好地被分离时，SVM比LR好，LDA也是。
2. 当不能被很好分离时，LR与SVM相似。
3. 如果想估计概率，则选择LR。
4. 对于非线性边界，核支持向量机比较好；也可以使用LR和LDA，但计算成本更高。