机器学习西瓜书&南瓜书 支持向量机

机器学习西瓜书&南瓜书 支持向量机

1. 间隔与支持向量

给定训练样本集$D=({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),...,({\mathbf{x}}_m,y_m),y_i\in -1,+1$，分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。同时尽可能使超平面对训练样本局部扰动的“容忍”性最好。

在样本空间中，划分超平面可通过如下线性方程描述：
$${\mathbf{\omega }}^T\mathbf{x}+b=0$$
其中$\mathbf{\omega }=({\omega }_1;{\omega }_2;...;{\omega }_d)$为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离，样本中任意点$\mathbf{x}$到超平面$(\mathbf{\omega },b)$的距离可写为：
$$r=\frac{\left|{\mathbf{\omega }}^T\mathbf{x}+b\right|}{\left|\left|\mathbf{\omega }\right|\right|}$$
假设超平面$(\mathbf{\omega },b)$能将训练样本正确分类，即对于$({\mathbf{x}}_{\mathbf{i}},y_i)\in D$，若$y_i=+1$，则有${\mathbf{\omega }}^T{\mathbf{x}}_{\mathbf{i}}+b>0$；若$y_i=-1$，则有${\mathbf{\omega }}^T{\mathbf{x}}_{\mathbf{i}}+b<0$。令：
$$(6.3)\{\begin{array}{l}{\mathbf{\omega }}^T{\mathbf{x}}_i+b\ge +1,y_i=+1\\ {\mathbf{\omega }}^T{\mathbf{x}}_i+b\le -1,y_i=-1\end{array}$$
如下图，距离超平面最近的训练样本点使上述成立，它们被称为“支持向量”(support vector)，两个异类支持向量到超平面的距离之和为：

$$\gamma =\frac{2}{\left|\left|\mathbf{\omega }\right|\right|}$$
显然前面找到“容忍”性最好，即找到具有“最大间隔”(maximum margin)的划分超平面，也就是要找到满足(6.3)式约束的$\mathbf{\omega }$和b，使得$\gamma$最大，即：
$$\begin{gathered} ma{x}_{\mathbf{\omega },b}\frac{2}{\left|\left|\mathbf{\omega }\right|\right|} \\ s.t.y_i({\mathbf{\omega }}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,...,m. \end{gathered}$$
等价于：
$$\begin{gathered} mi{n}_{\mathbf{\omega },b}\frac{1}{2}{\left|\left|\mathbf{\omega }\right|\right|}^2(6.6) \\ s.t.y_i{\mathbf{\omega }}^T{\mathbf{x}}_i+b\ge 1,i=1,2,...,m. \end{gathered}$$
这就是支持向量机(Support Vector Machine，简称SVM)的基本型。

2. 对偶问题

2.1 模型定义

对式(6.6)使用拉格朗日乘子法可得其“对偶问题”(dual problem)如下式：
$$\begin{gathered} ma{x}_{\alpha }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j(6.11) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ \alpha \ge 0,i=1,2,...,m \end{gathered}$$
解出$\alpha$后，求出$\mathbf{\omega }$与b即可得到模型：
$$\begin{gathered} f(\mathbf{x})={\mathbf{\omega }}^T\mathbf{x}+b \\ =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^T\mathbf{x}+b \end{gathered}$$
上述过程需要满足KKT(Karush-Kuhn-Tucker)条件，即要求：
$$\{\begin{array}{l}{\alpha }_i\ge 0;\\ y_{i}f({\mathbf{x}}_i)-1\ge 0;\\ {\alpha }_i(y_{i}f({\mathbf{x}}_i)-1)=0.\end{array}$$
支持向量机的一个重要特性：训练完成后，大部分的训练样本都不需保留，最终模型仅与支持向量有关。

2.2 模型求解

针对$\alpha$的求解，是一个二次规划问题，可使用通用的二次规划求解；当时该问题的规模正比于训练样本数，这会在实际任务中造成很大的开销。因此通常利用问题本身的特性进行求解，如SMO(Sequential Minimal Optimization)是其中一个著名的代表。

SMO的基本思路是先固定${\alpha }_i$之外的所有参数，然后求${\alpha }_i$上的极值。由于存在约束${\sum }_{i=1}^m{\alpha }_i{y}_i=0$，若固定${\alpha }_i$之外的其他变量，则${\alpha }_i$可由其他变量导出。于是，SMO每次选择两个变量${\alpha }_i$和${\alpha }_j$，并固定其他参数。这样，在参数初始化后，SMO不断执行如下步骤直至收敛：

• 选择一对需更新的变量${\alpha }_i$和${\alpha }_j$
• 固定${\alpha }_i$和${\alpha }_j$以外的参数，求解式(6.11)获得更新后的${\alpha }_i$和${\alpha }_j$

SMO采用了一个启发式：使选取的两变量所对应的样本之间的间隔最大。

SMO算法之所以高效，恰由于在固定其他参数后，仅优化两个参数的过程能做到非常高效。具体来说，仅考虑${\alpha }_i$和${\alpha }_j$时，式(6.11)中的约束可重写为：
$${\alpha }_i{y}_i+{\alpha }_j{y}_j=c,{\alpha }_i\ge 0,{\alpha }_j\ge 0$$
其中
$$c=-\sum _{k\ne i,j}{\alpha }_k{y}_k$$
是使${\sum }_{i=1}^m{\alpha }_i{y}_i=0$成立的常数。用
$${\alpha }_i{y}_i+{\alpha }_j{y}_j=c$$

3. 核函数

前面的模型讨论中，都是基于训练样本是线性可分的，即存在一个划分超平面能将训练样本正确分类。然而在现实任务中，原始样本空间内也许并不存在一个能正确划分两类样本的超平面。这个时候可以把样本从原始空间映射到更高维的特征空间，使得样本在高维的特征空间内线性可分。

如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使样本可分。

令$\varphi (\mathbf{x})$表示将$\mathbf{x}$映射后的特征向量，于是，在特征空间中划分超平面所对应的模型可表示为：
$$f(\mathbf{x})={\mathbf{\omega }}^T\varphi (x)+b$$
同理可得，类似式(6.6)，有：
$$\begin{gathered} mi{n}_{\mathbf{\omega },b}\frac{1}{2}\left|\left|\mathbf{\omega }\right|\right| \\ s.t.y_i({\mathbf{\omega }}^T\varphi ({\mathbf{x}}_i)+b)\ge 1,i=1,2,...,m \end{gathered}$$
其对偶问题是：
$$\begin{gathered} ma{x}_{\alpha }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi ({\mathbf{x}}_i^T)\varphi ({\mathbf{x}}_j)(6.21) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ {\alpha }_i\ge 0,i=1,2,...,m \end{gathered}$$
其中直接计算$\varphi ({\mathbf{x}}_i^T)\varphi ({\mathbf{x}}_j)$通常是困难的，这个时候通过使用核函数(kernel function)来代表$\varphi ({\mathbf{x}}_i^T)\varphi ({\mathbf{x}}_j)$的结果，即：
$$\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)<=\varphi ({\mathbf{x}}_i^T)\varphi ({\mathbf{x}}_j)$$
因此(6.21)可以重写：
$$\begin{gathered} ma{x}_{\alpha }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)(6.21) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ {\alpha }_i\ge 0,i=1,2,...,m \end{gathered}$$
求解后可得：
$$\begin{gathered} f(\mathbf{x})={\mathbf{\omega }}^T\varphi (\mathbf{x})+b \\ =\sum _{i=1}^m{\alpha }_i{y}_i\varphi ({\mathbf{x}}_i{)}^T\varphi (\mathbf{x})+b \\ =\sum _{i=1}^m{\alpha }_i{y}_i\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)+b \end{gathered}$$
“核函数选择”是SVM的最大变数，以下列数几种常用的核函数：

基本的经验：若对文本数据通常使用线性核，情况不明时，可先尝试高斯核。

此外，核函数还可以通过函数组合的阿斗，如：

• 若${\kappa }_1$和${\kappa }_2$为核函数，则对于任意正数${\gamma }_1$、${\gamma }_2$，其线性组合：

$${\gamma }_1{\kappa }_1+{\gamma }_2{\kappa }_2$$

也是核函数。

• 若${\kappa }_1$和${\kappa }_2$为核函数，则核函数的直积也是核函数：

$${\kappa }_1\otimes {\kappa }_2(\mathbf{x},\mathbf{z})={\kappa }_1(\mathbf{x},\mathbf{z}){\kappa }_2(\mathbf{x},\mathbf{z})$$

• 若${\kappa }_1$是核函数，则对于任意函数$g(\mathbf{x})$也是核函数：

$$\kappa (\mathbf{x},\mathbf{z})=g(\mathbf{x}){\kappa }_1(\mathbf{x},\mathbf{z})g(\mathbf{z})$$

4. 软间隔与正则化

硬间隔(hard margin)：要求所有样本均满足约束

软间隔(soft margin)：允许某些样本不满足约束，约束如下：
$$y_i({\mathbf{\omega }}^T{\mathbf{x}}_i+b)\ge 1$$
为了表达该式，可以通过引入一个惩罚系数C>0，$l_{0/1}$是“0/1损失函数”，优化目标可写为：
$$mi{n}_{\mathbf{\omega },b}\frac{1}{2}\left|\left|\mathbf{\omega }\right|\right|+C\sum _{i=1}^m{l}_{0/1}(y_i({\mathbf{\omega }}^T{\mathbf{x}}_i+b)-1)$$

$$l_{0/1}=\{\begin{array}{l}1,ifz<0;\\ 0,otherwise\end{array}$$
显然，当C无穷大时，迫使所有样本均满足约束；当C取有限值，允许一些样本不满足约束。但是$l_{0/1}$非凸、非连续，通常使用其他函数来代替它，称为“替代损失”(surrogate loss)。

常用的替代损失函数如下图：

而“软间隔支持向量机”使用的是hinge损失，优化目标是：
$$mi{n}_{\mathbf{\omega },b}\frac{1}{2}{\left|\left|\omega \right|\right|}^2+C\sum _{i=1}^{m}max(0,1-y_i({\mathbf{\omega }}^T{\mathbf{x}}_i+b))$$
引入“松弛变量”(slack variables)$\xi \ge 0$，可将上式重写：
$$mi{n}_{\mathbf{\omega },b，{\xi }_i}\frac{1}{2}{\left|\left|\omega \right|\right|}^2+C\sum _{i=1}^m{\xi }_i$$
显然对于每一个样本都有一个松弛变量，用以表征该样本不满足约束的程度，同样该问题仍然是一个二次规划问题，通过拉克朗日乘子法得到对偶问题：
$$\begin{gathered} ma{x}_{\mathbf{\alpha }}\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j^T \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ 0\le {\alpha }_i\le C,i=1,2,...,m. \end{gathered}$$
上式跟硬间隔下的对偶问题唯一的差别在于对偶变量的约束不同，本问题是$0\le {\alpha }_i\le C$，硬间隔下的约束是$0\le {\alpha }_i\le C$，对软间隔的KKT条件要求：
$$\{\begin{array}{l}{\alpha }_i\ge 0,{\mu }_i\ge 0,\\ y_{i}f({\mathbf{x}}_i)-1+{\xi }_i\ge 0,\\ {\alpha }_i(y_{i}f({\mathbf{x}}_i)-1+{\xi }_i)=0,\\ \xi \ge 0,{\mu }_i{\xi }_i=0\end{array}$$
同样的可以使用其他的替换损失函数，它们得到的模型的性质与所用的替代函数直接相关，但它们具有一个共性：优化目标中的第一项用来描述划分超平面的“间隔”大小，另一项则用来表示训练集上的误差，可写为更一般的形式：
$$mi{n}_f\Omega (f)+C\sum _{i=1}^{m}l(f({\mathbf{x}}_i),y_i)$$
其中$\Omega (f)$称为结构风险(structural risk)，用来描述模型f的某些性质；第二项称为“经验风险”(empirical risk)，用来描述模型与训练数据的契合程度；C用于对二者进行这种。

上式称为“正则化”(regularization)问题，$\Omega (f)$为正则化项，C为正则化常数。$L_p$范数(norm)是常用的正则化项。

5. 支持向量回归

传统的回归模型通常基于模型输出$f(\mathbf{x})$与真实输出y之间的差别来计算损失，而支持向量回归(Support Vector Regression，简称SVR)假设我们能容忍$f(\mathbf{x})$与y之间最多有$ϵ$的偏差，即仅当$f(\mathbf{x})$与y之间差别绝对值大于$ϵ$才计算损失，于是SVR问题可表示为：
$$mi{n}_{\mathbf{\omega },b}\frac{1}{2}{\left|\left|\omega \right|\right|}^2+C\sum _{i=1}^m{l}_{ϵ}(f({\mathbf{x}}_i)-y_i)$$
其中C为正则化常数，$l_{ϵ}$是$ϵ-$不敏感损失($ϵ$-insensitive loss)函数，如下：
$$l_{ϵ}=\{\begin{array}{l}0,if\left|z\right|\le ϵ;\\ \left|z\right|-ϵ,otherwise\end{array}$$
引入松弛变量${\xi }_i$和${\hat{\xi }}_i$，可将上式重写为
$$\begin{gathered} mi{n}_{\mathbf{\omega },b}\frac{1}{2}{\left|\left|\omega \right|\right|}^2+C\sum _{i=1}^m({\xi }_i+{\hat{\xi }}_i) \\ s.t.f({\mathbf{x}}_i)-y_i\le ϵ+{\xi }_i, \\ {y}_i-f({\mathbf{x}}_i)\le ϵ+{\hat{\xi }}_i, \\ {\xi }_i\ge 0,{\hat{\xi }}_i\ge 0,i=1,2,...,m \end{gathered}$$
类似地，通过拉格朗日乘子法可得其对偶问题为：
$$\begin{gathered} ma{x}_{\alpha ,\hat{\alpha }}\sum _{i=1}^m{y}_i({\hat{\alpha }}_i-{\alpha }_i)-ϵ({\hat{\alpha }}_i+\alpha ) \\ -\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m({\hat{\alpha }}_i-{\alpha }_i)({\hat{\alpha }}_j-{\alpha }_j){\mathbf{x}}_i^T{\mathbf{x}}_j \\ s.t.\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)=0 \\ 0\le {\alpha }_i,{\hat{\alpha }}_i\le C \end{gathered}$$
需满足以下KKT条件：

最终的SVR的解形如：
$$f(\mathbf{x})=\sum _{i=1}^m({\hat{\alpha }}_i-\alpha ){\mathbf{x}}_i^T\mathbf{x}+b$$
若考虑特征映射形式，则相应的，SVR的解为：
$$f(\mathbf{x})=\sum _{i=1}^m({\hat{\alpha }}_i-\alpha )\kappa ({\mathbf{x}}_i,\mathbf{x})+b$$

6. 核方法

是一系列基于核函数的学习方法。最常见的是通过“核化”来将线性学习器拓展为非线性学习器。