机器学习之支持向量机（SVM）

  上篇博文《机器学习之Rademacher复杂度和VC维》讲述了衡量假设集复杂程度即假设集拟合随机噪声的丰富性的方法，从这一篇博文开始讲述机器学习领域的一个重要算法——支持向量机（SVM）。

  支持向量机是一种二分类模型，基本思路是求出特征空间中最大间隔的划分两个样本的超平面。这使得其区别于感知机。也就是支持向量机的核心学习策略就是间隔最大化，其形式上也可以转化为求凸二次规划问题，支持向量机的本质就是求解凸二次规划的优化算法问题。

  博文重点：

• 介绍线性可分数据集的分类算法。
• 介绍线性不可分的数据集的分类算法。
• 提出基于间隔（margin）概念的支持向量机的理论基础。

1、线性分类（Linear classification）

  考虑一个$N$维输入空间$\mathcal{X}\in {\mathbb{R}}^N,N\ge 1$。输出空间 Y = { − 1 , + 1 } \mathcal{Y}=\{-1,+1\} Y={ −1,+1}，并且$f:\mathcal{X}\to \mathcal{Y}$是目标函数。假设集$H$是二分类$\mathcal{X}$到$\mathcal{Y}$的映射。训练样本$S=((x_1,y_1),...,(x_m,y_m))\in (\mathcal{X}\times \mathcal{Y}{)}^m$并且$y_i=f(x_i)$对任意的$i\in [m]$来自于某个未知分布$D$。假设集$h\in H$的泛化误差为：
$$R_D(h)=\underset{x\sim D}{P}[h(x)\ne f(x)].$$
根据之前的研究，假设集具有更小的$VC$维或Rademacher复杂度将提供更好学习保证，这也符合奥卡姆剃刀原则。那么线性分类器（超平面）自然具有较小的复杂度，定义如下：
H = { x → sgn ( w ⋅ x + b ) : w ∈ R N , b ∈ R } . \mathcal{H}=\{\mathbf{x}\to{\text{sgn}(\mathbf{w}\cdot\mathbf{x}+b)}:\mathbf{w}\in{\mathbb{R}^N},b\in{\mathbb{R}}\}. H={ x→sgn(w⋅x+b):w∈RN,b∈R}.
超平面在${\mathbb{R}}^N$的一般方程为：$\mathbf{w}\cdot \mathbf{x}+b=0$，并且$\mathbf{w}\in {\mathbb{R}}^N$是超平面的非零向量，$b\in \mathbb{R}$是一个标量。因此，分离超平面可将特征空间划分为两部分，所有落在超平面一边的点标记为正，落在另一面的标记为负，也就是法向量所指向的一侧为正类，另一侧为负类。

2、可分的情况（Separable case）

  这一部分先假定样本集$S$均是线性可分的，所以我们假定存在一个超平面能够完美地将样本划分为正负两类，如下图所示：

也就是等价于存在着 ( w , b ) ∈ ( R N − { 0 } ) × R (\mathbf{w},b)\in{(\mathbb{R}^N-\{0\})\times{\mathbb{R}}} (w,b)∈(RN−{ 0})×R满足：

$$\forall i\in [m],y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)\ge 0.$$
但是从上幅图我们可以看到，存在着无数个超平面可以将两类样本区分开来。感知机利用误分类最小的策略求得分类超平面，其解也是无穷多个，而线性可分支持向量机利用间隔最大化求最优分离超平面的解是唯一的。

  求解SVM的解的方法是以几何间隔概念为基础的。

定义1：几何间隔：线性分类器的几何间隔就是一个点$\mathbf{x}$到超平面$\mathbf{w}\cdot \mathbf{x}+b=0$的欧氏距离：

$${\rho }_h(x)=\frac{|\mathbf{w}\cdot \mathbf{x}+b|}{||\mathbf{w}|{|}_2}.$$
对于线性分类器$h$的几何间隔${\rho }_h$就是所有样本点$S=({\mathbf{x}}_1,...,{\mathbf{x}}_{\mathbf{m}})$中到超平面的最小距离：

$${\rho }_h=\underset{i\in [m]}{\min }{\rho }_h(x_i)$$，也就是离超平面最近的点。

  SVM的解就是寻找最大间隔分离超平面，由于$\rho$是能够保证最大间隔地划分两类样本，所以此时的$\rho$可以说是最有保障的分离超平面，如下图所示。

2.1 原始优化问题（Primal optimization problem）

  通过定义几何间隔，一个分离超平面的最大间隔$\rho$如下所示：

$$\begin{array}{rl}\rho & =\underset{\mathbf{w},b:y_i({\mathbf{w}}_{\mathbf{i}}\cdot \mathbf{x}+b)\ge 0}{\max }\underset{i\in [m]}{\min }\frac{|\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b|}{||\mathbf{w}||}\\ & =\underset{\mathbf{w},b}{\max }\underset{i\in [m]}{\min }\frac{y_i(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b)}{||\mathbf{w}||}.\end{array}$$

上述公式的含义就是最大化几何间隔，也就是以一个充分大的确信度对数据集进行分类，不仅将正负类分开，对于某些难以区分的示例点也具有足够大的能力将其分开。那么则有$y_i(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b)\ge 0$恒成立，我们可以假定${\min }_{i\in [m]}{y}_i(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b)=1$：

$$\rho =\underset{\mathbf{w},b:{\min }_{i\in [m]}{y}_i(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b)=1}{\max }\frac{1}{||\mathbf{w}||}=\underset{\mathbf{w},b:\forall i\in [m],y_i({\mathbf{w}}_{\mathbf{i}}\cdot \mathbf{x}+b)\ge 1}{\max }\frac{1}{||\mathbf{w}||}.$$
下图，间隔超平面与分离超平面平行，并且通过最近的正负样本，间隔超平面的方程是$\mathbf{w}\cdot \mathbf{x}+b=\pm 1$。

  由于最大化$\frac{1}{||\mathbf{w}||}$等价于最小化$\frac{1}{2}||\mathbf{w}|{|}^2$，则求解SVM线性可分超平面的解的方法转变为如下的凸优化问题：

$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2 \\ \text{subject to}:y_i(\mathbf{w}\cdot \mathbf{x}+b)\ge 1,\forall i\in [m] \end{gathered}$$

  目标函数$F:\mathbf{w}\to \frac{1}{2}||\mathbf{w}|{|}^2$是光滑并可微的。它的梯度$\nabla F(\mathbf{w})=\mathbf{w}$，海森（Hessian）矩阵${\nabla }^{2}F(\mathbf{w})=\mathbf{I}$，并且矩阵的特征值严格为正，因此目标函数是严格凸函数。限制函数$g_i:(\mathbf{w},b)\to 1-y_i(\mathbf{w}\cdot \mathbf{x}+b)$是仿射函数。上述凸优化问题成为凸二次规划问题（convex QP problems），上述问题便会有唯一解。

2.2 支持向量（Support vectors）

  为了求解线性可分支持向量机的最优化问题，可将原始问题（primal problems）应用拉格朗日对偶性转化为对偶问题（dual problems）。对偶问题往往更加方便求解并且方便引入核函数，推广到非线性分类问题（下篇文章讲述）。

  引入拉格朗日变量${\alpha }_i\ge 0,i\in [m]$，将$\alpha$表示为向量的形式为：$\alpha =({\alpha }_1,...,{\alpha }_m{)}^T$，因此，对于所有的$\mathbf{w}\in {\mathbb{R}}^N,b\in \mathbb{R},\alpha \in {\mathbb{R}}_{+}^N$，

$$\mathcal{L}(\mathbf{w},b,\alpha )=\frac{1}{2}||\mathbf{w}|{|}^2-\sum _{i=1}^m{\alpha }_i[y_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)-1].$$
根据拉格朗日的对偶性，原始问题的对偶问题是极大极小问题：

$$\underset{\alpha }{\max }\underset{\mathbf{w},b}{\min }\mathcal{L}(\mathbf{w},b,\alpha )$$

所以，为了得到对偶问题的解，需要先求出$\mathcal{L}(\mathbf{w},b,\alpha )$对$\mathbf{w},b$的极小，再求出对$\alpha$的极大。
  （1）求${\min }_{\mathbf{w},b}\mathcal{L}(\mathbf{w},b,\alpha )$：得到KKT条件就是将原始问题中的$\mathbf{w},b$的梯度设置为$0$，并再加上一条补充条件，如下所示：

$$\begin{array}{lcl}{\nabla }_{\mathbf{w}}\mathcal{L}=\mathbf{w}-{\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i& \Rightarrow & \mathbf{w}={\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ & & \\ {\nabla }_b\mathcal{L}=-{\sum }_{i=1}^m{\alpha }_i{y}_i=0& \Rightarrow & {\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ & & \\ \forall i,{\alpha }_i[y_i(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b)-1]=0& \Rightarrow & {\alpha }_i=0\text{or}{y}_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)=1\end{array}$$
上述公式可以看出，SVM中$\mathbf{w}$的解就是当且仅当$\alpha \ne 0$时训练集${\mathbf{x}}_1,...,{\mathbf{x}}_m$的线性组合。这些向量就叫做支持向量。上面的第三个式子，如果${\alpha }_i\ne 0$，则说明 y i ( w ⋅