机器学习（周志华） 第六章支持向量机

关于周志华老师的《机器学习》这本书的学习笔记
记录学习过程
本博客记录Chapter6 支持向量机

1 间隔与支持向量

对于给定的训练集，分类学习的最基本想法就是基于训练集D在样本空间中找到一个划分超平面。且应该找位于两位训练样本 “正中间” 的划分超平面（图中加粗的），因为该划分超平面对样本局部扰动的“容忍性”最好，即根据该平面划分的分类结果是最鲁棒的，对未见示例的泛化能力最强。

该划分超平面可以用如下线性方程描述：
$${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=0$$
样本空间中任意点$\mathbf{x}$到超平面$\mathbf{x},b$的距离可以写为：
$$r=\frac{|{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b|}{||\mathbf{w}||}$$
假设超平面能将样本正确分类，对于$({\mathbf{x}}_i,y_i)$，总有：
$$\{\begin{array}{l}{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b\ge +1,y_i=+1\\ {\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b\le -1,y_i=-1\end{array}$$
如上图画圈的样本所示，这几个距离超平面最近的训练样本使得式(3)的等号成立，他们被称为“支持向量”（support vector），两个异类支持向量到超平面的距离之和被称为“间隔”（margin）：
$$\gamma =\frac{2}{||\mathbf{w}||}$$
因此，只需要最大化间隔，支持向量机(Support Vector Machine，简称SVM) 的基本型如下：
$$\begin{gathered} \underset{\mathbf{x},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2 \\ s.t.y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1,i=1,2,\dots ,m \end{gathered}$$

2 对偶问题

对式(5)使用拉格朗日乘子法可得其“对偶问题”（dual problem）：
$$L(\mathbf{w},b,\alpha )=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b))$$
令$L(\mathbf{w},b,\alpha )$对$\mathbf{w}$和$b$偏导为0可得：
$$\begin{gathered} \mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i \\ 0=\sum _{i=1}^m{\alpha }_i{y}_i \end{gathered}$$
将式(7)带入式(6)，得对偶问题：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}} \\ s.t.\{\begin{array}{l}{\sum }_{i=1}^m{a}_i{y}_i=0\\ {\alpha }_i\ge 0,i=1,2,\dots ,m\end{array} \end{gathered}$$
解出$\alpha$后，求出$\mathbf{w}$和b可得模型：
$$f(\mathbf{x})={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^T\mathbf{x}+b$$
同时，该模型还需要满足KKT条件：
$$\{\begin{array}{l}{\alpha }_i\ge 0\\ 1-y_{i}f({\mathbf{x}}_i)=1-y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\le 0\\ {\alpha }_i(1-y_{i}f({\mathbf{x}}_i))=0\end{array}$$
因此，对于训练样本$({\mathbf{x}}_i,y_i)$，总有${\alpha }_i=0$或$y_{i}f({\mathbf{x}}_i)=1$。若$\alpha =0$，则样本不会在$f(\mathbf{x})$求和中出现，也就不会对$f(\mathbf{x})$有任何影响；反之，所对应样本一定在边界上，是一个支持向量。这体现出：训练完成后，大部分训练样本不需要保留，最终模型只与支持向量有关。

求解式(8)的代表方法有SOM(Sequential Minimal Optimization)法：先固定${\alpha }_i$之外的所有参数，求${\alpha }_i$上的极值。其步骤如下：

• 选取一对需更新的变量${\alpha }_i$和${\alpha }_j$

  仅考虑${\alpha }_i$和${\alpha }_j$，式(8)中的约束就可以重写为：
  $$\begin{gathered} {\alpha }_i{y}_i+{\alpha }_{j}y=c \\ -c=\sum _{k\ne i,j}{\alpha }_k{y}_k \end{gathered}$$

• 固定其他参数，求解更新后的${\alpha }_i$和${\alpha }_j$

  用${\alpha }_i{y}_i+{\alpha }_{j}y=c$消去目标函数中的${\alpha }_j$，即可得到关于${\alpha }_i$的单变量二次规划问题，仅有的约束是${\alpha }_i\ge 0$，具有闭式解。即可更新${\alpha }_i和{\alpha }_j$。

• $b$的值考虑到支持向量满足$y_{s}f({\mathbf{x}}_i)=1$，因此有：
  $$b=\frac{1}{|S|}\sum _{s\in S}(1/y_s-\sum _{i\in S}{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{s}})$$

SOM法高效的原因在于：注意到只需选取的${\alpha }_i$和${\alpha }_j$中有一个不满足KKT条件，目标函数就会在迭代后减小。直观来看，KKT条件违背的程度越大，则变量更新后可能导致的目标函数值减幅越大。于是，SMO先选取违背KKT条件程度最大的变量，第二个变量应选择一个使目标函数值减小最快的变量，但由于比较各变量所对应的目标函数值减幅的复杂度过高，因此SMO采用了一个启发式：使选取的两变量所对应样本之间的间隔最大。一种直观的解释是，这样的两个变量有很大的差别，与对两个相似的变量进行更新相比，对它们进行更新会带给目标函数值更大的变化。

总结一下：就是选两个间隔比较大的样本$({\mathbf{x}}_i,y_i)$和$({\mathbf{x}}_j,y_j)$。固定除了${\alpha }_i、{\alpha }_j$以外的所有参数，这样就能求得$-c={\sum }_{k\ne i,j}{\alpha }_k{y}_k$，同时${\alpha }_i{y}_i+{\alpha }_{j}y=c$，将该式带入目标函数，可以得到关于${\alpha }_i$的单变量二次规划函数，求得关于${\alpha }_i$的极值，更新${\alpha }_i、{\alpha }_j$，继续该过程，直到模型收敛。

3 核函数

对于线性不可分问题，我们可以把样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。（如果原始数据的空间是有限维，则一定存在一个高维特征空间使得样本可分）

令$\varphi (\mathbf{x})$表示$\mathbf{x}$映射后的特征向量，则特征空间中划分超平面所对应的模型可表示为：
$$f(\mathbf{x})={\mathbf{w}}^{\mathbf{T}}\varphi (\mathbf{x})+b$$
规划模型：
$$\begin{gathered} \underset{\mathbf{x},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2 \\ s.t.y_i({\mathbf{w}}^{\mathbf{T}}\varphi ({\mathbf{x}}_{\mathbf{i}})+b)\ge 1,i=1,2,\dots ,m \end{gathered}$$
对偶问题：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^{\mathbf{T}}\varphi ({\mathbf{x}}_{\mathbf{j}}) \\ s.t.\{\begin{array}{l}{\sum }_{i=1}^m{a}_i{y}_i=0\\ {\alpha }_i\ge 0,i=1,2,\dots ,m\end{array} \end{gathered}$$
由于样本映射到特征空间的维数可能很高，甚至是无穷维，因此直接计算$\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_i)$是很困难的，因此为避开这个问题，设想一个函数(核函数)：
$$\kappa (x_i,x_j)=<\varphi ({\mathbf{x}}_i),\varphi ({\mathbf{x}}_j)>=\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$$
将上面对偶问题重写为：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa ({\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}},{\mathbf{x}}_{\mathbf{j}}) \\ s.t.\{\begin{array}{l}{\sum }_{i=1}^m{a}_i{y}_i=0\\ {\alpha }_i\ge 0,i=1,2,\dots ,m\end{array} \end{gathered}$$
求解后可得（支持向量展式）：
$$\begin{gathered} f(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})+b=\sum _{i=1}^m{\alpha }_i{y}_i\varphi ({\mathbf{x}}_i{)}^T\varphi (\mathbf{x})+b \\ =\sum _{i=1}^m{\alpha }_i{y}_i\kappa (\mathbf{x},{\mathbf{x}}_i)+b \end{gathered}$$

---

所以问题的关键在于如何找到一个映射$\varphi$以及对应的核函数$\kappa (\cdot ,\cdot )$。

关于核函数的定理：令$\chi$为输入空间，$\kappa (\cdot ,\cdot )$为定义在$\chi \times \chi$上的对称函数，则$\kappa$是核函数当且仅当对于任意数据 D = { x 1 , x 2 , … , x m } D=\{\bold {x_1,x_2,…,x_m}\} D={x1​,x2​,…,xm​}，“核矩阵”$K$总是半正定的。

• 半正定：对于一个$n\times n$的实对称矩阵$A$，对任意长度为$n$的非零向量$x$，都有$x^{T}Ax\ge 0$

该定理表明，只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用。对于一个半正定核矩阵，总能找到一个与之对应的映射$\varphi$，即任何一个核函数都隐式定义了一个“再生核希尔伯特空间”(Reproducing Kernel Hilbert Space)，作为特征空间。

几种常用的核函数如下：

同时上述几种核函数，还能通过函数组合得到新的组合核函数：

• 线性组合：${\gamma }_1{\kappa }_1+{\gamma }_2{\kappa }_2$
• 直积：${\kappa }_1\otimes {\kappa }_2(\mathbf{x},\mathbf{z})={\kappa }_1(\mathbf{x},\mathbf{z}){\kappa }_2(\mathbf{x},\mathbf{z})$
• 对于任意函数$g(\mathbf{x})$，$\kappa (\mathbf{x},\mathbf{z})=g(\mathbf{x}){\kappa }_1(\mathbf{x},\mathbf{z})g(\mathbf{z})$

---

4 软间隔和正则化

在现实任务中，我们往往很难确定合适的核函数使得训练样本在特征空间中线性可分。即便恰好找到了某个核函数使训练集在特征空间中线性可分，也很难断定这个貌似线性可分的结果不是由于过拟合所造成的。缓解该问题的一个办法是允许支持向量机在一些样本上出错。为此，要引入 “软间隔”(soft margin) 的概念。

软间隔允许某些样本不满足约束：$y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1$。

但在最大化间隔的同时，还需要保证不满足约束的样本尽可能少(${\vartheta }_{0/1}$是损失函数)：
$$\begin{gathered} \underset{w,b}{\min }=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\vartheta }_{0/1}(y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)-1) \\ {\vartheta }_{0/1}=\{\begin{array}{l}1,ifz<0;\\ 0,otherwise\end{array} \end{gathered}$$
${\vartheta }_{0/1}$函数非凸、不连续、数学性质不太好，使得目标函数较难求解。因此常常采用其他函数代替${\vartheta }_{0/1}$，称为替代损失，如：

• hinge损失：${\vartheta }_{hinge}(z)=max(0,1-z)$
• 指数损失：${\vartheta }_{exp}(z)=e^{(-z)}$
• 对率损失：${\vartheta }_{log}(z)=log(1+e^{-z})$

引入松弛变量，将规划模型改写为(其实是hinge替代损失函数的一种变形)：
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\xi }_i \\ s.t.\{\begin{array}{l}{y}_i({\mathbf{w}}^{\mathbf{T}}\varphi ({\mathbf{x}}_{\mathbf{i}})+b)\ge 1-{\xi }_i,i=1,2,\dots ,m\\ {\xi }_i\ge 0,i=1,2,3\dots ,m\end{array} \end{gathered}$$
对偶问题为：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}} \\ s.t.\{\begin{array}{l}{\sum }_{i=1}^m{a}_i{y}_i=0\\ 0\le {\alpha }_i\le C,i=1,2,\dots ,m\end{array} \end{gathered}$$

---

若采用其他的替代损失函数：

• 对率损失函数${\vartheta }_{log}$：

  如果使用对率损失函数${\vartheta }_{log}$来替代0/1损失函数，则几乎就得到了对率回归模型。实际上，支持向量机与对率回归的优化目标相近，通常情形下它们的性能也相当。对率回归的优势主要在于其输出具有自然的概率意义，即在给出预测标记的同时也给出了概率，而支持向量机的输出不具有概率意义，欲得到概率输出需进行特殊处理。此外，对率回归能直接用于多分类任务，支持向量机为此则需进行推广；另一方面，hinge损失有一块“平坦”的零区域，使得支持向量机的解具有稀疏性，对率损失是光滑的单调递增函数，不能导出支持向量的概念，因此对率回归的解依赖于更多的训练样本，预测开销更大。

• 我们还可以把0/1损失函数换成别的替代损失函数以得到其他学习模型，这些模型的性质与所用的替代函数直接相关，但它们具有一个共性：优化目标中的第一项用来描述划分超平面的“间隔”大小，另一项${\sum }_{i=1}^m\vartheta (f({\mathbf{x}}_i),y_i)$用来表述训练集上的误差，可写为更一般的形式：
  $$\underset{f}{\min }\Omega (f)+C\sum _{i=1}^m\vartheta (f({\mathbf{x}}_i),y_i)$$

  • 其中$\Omega (f)$称为 “结构风险”(structural risk)，用于描述模型$f$的某些性质；第二项${\sum }_{i=1}^m\vartheta (f({\mathbf{x}}_i),y_i)$称为 “经验风险”(empirical risk)，用于描述模型与训练数据的契合程度。 C用于对二者进行折中，从经验风险最小化的角度来看，$\Omega (f)$表述了我们希望获得具有何种性质的模型(例如希望获得复杂度较小的模型)，这为引入领域知识和用户意图提供了途径；另一方面，该信息有助于削减假设空间，从而降低了最小化训练误差的过拟合风险。

    从这个角度来说，上式称为 “正则化”(regularization)问题，$\Omega (f)$称为正则化项，C则称为正则化常数。$L_p$范数(norm)是常用的正则化项，其中$L_2$范数$||\mathbf{w}|{|}_2$倾向于$\mathbf{w}$的分量取值尽量均衡，即非零分量个数尽量稠密；而$L_0$范数和$L_1$范数则倾向于$\mathbf{w}$的分量尽量稀疏，即非零分量个数尽量少。

  • 正则化可以理解为”罚函数“。对不希望得到的结果施以惩罚，从而使得优化过程趋向于希望目标。（从贝叶斯估计角度，正则化项可认为是提供了模型的先验概率）

---

5 支持向量回归

支持向量回归（Support Vector Regression， SVR）：假设我们能容忍$f(\mathbf{x})$和真实值$y$之间有$ϵ$的偏差。即当$|f(\mathbf{x})-y|>ϵ$时才计算损失。

目标函数（${\vartheta }_{ϵ}(z)$是 $ϵ$-不敏感损失函数）：
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\vartheta }_{ϵ}(f({\mathbf{x}}_i)-y_i) \\ {\vartheta }_{ϵ}(z)=\{\begin{array}{l}0,if|z|\le ϵ\\ |z|-ϵ,otherwise\end{array} \end{gathered}$$
引入松弛变量，规划模型：
$$\begin{gathered} \underset{\mathbf{w},b,{\xi }_i,{\hat{\xi }}_i}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m({\xi }_i+{\hat{\xi }}_i) \\ s.t.\{\begin{array}{l}f({\mathbf{x}}_i)-y_i\le ϵ+{\xi }_i\\ y_i-f({\mathbf{x}}_i)\le ϵ+{\hat{\xi }}_i\\ {\xi }_i\ge 0,{\hat{\xi }}_i\ge 0,i=1,2,3\dots ,m\end{array} \end{gathered}$$
对偶问题：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{y}_i({\hat{\alpha }}_i-{\alpha }_i)-ϵ({\hat{\alpha }}_i+{\alpha }_i)-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m({\hat{\alpha }}_i-{\alpha }_i)({\hat{\alpha }}_j-{\alpha }_j){\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}} \\ s.t.\{\begin{array}{l}{\sum }_{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)=0\\ 0\le {\alpha }_i,{\hat{\alpha }}_i\le C,i=1,2,\dots ,m\end{array} \end{gathered}$$
SVR的解如：
$$\begin{gathered} f(\mathbf{x})=\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i){\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}\mathbf{x}+b \\ b=y_i+ϵ-\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i){\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}} \end{gathered}$$
因此，能满足${\hat{\alpha }}_i-{\alpha }_i\ne 0$的样本即为 SVR的支持向量。 他们必定落在$ϵ$-间隔带之外，因为间隔带内部的${\hat{\alpha }}_i={\alpha }_i=0$，因此，SVR的支持向量仅仅是训练样本的一部分，其解依然有稀疏性。

6 核方法

表示定理（representer theorem）：令$H$为核函数$\kappa$对应的再生核希尔伯特空间，$||h|{|}_H$表示$H$空间中关于$h$的范数，对于任意单调递增函数$\Omega:[0, \infty] \mapsto R $和任意非负损失函数$\vartheta:R^m \mapsto [0, \infty]$，优化问题
$$\underset{h\in H}{\min }F(h)=\Omega (||h|{|}_H)+\vartheta (h(x_1),h(x_2),\dots ,h(x_m))$$
的解总可以写为：
$$h^{\ast }(x)=\sum _{i=1}^m{\alpha }_i\kappa (x,x_i)$$
核方法：基于核函数的学习方法。常见的是，通过”核化“来将线性学习器拓展为非线性学习器。

核线性判别分析（KLDA）：

利用某种映射$\varphi :\chi \mapsto F$，将样本映射到一个特征空间。

其学习目标为：
$$\underset{w}{\max }J(w)=\frac{{\mathbf{w}}^T{\mathbf{S}}_b^{\varphi }\mathbf{w}}{{\mathbf{w}}^T{\mathbf{S}}_w^{\varphi }\mathbf{w}}$$
其中，${\mathbf{S}}_b^{\varphi }$是类间散度矩阵，${\mathbf{S}}_w^{\varphi }$为类内散度矩阵。

我们使用核函数$\kappa (x,x_i)=\varphi (x_i{)}^T\varphi (x_i)$来隐式地表达映射和特征空间。得到$h(x)={\sum }_{i=1}^m{\alpha }_i\kappa (x,x_i)$

因此$w={\sum }_{i=1}^m{\alpha }_i\varphi (x_i)$

令$K\in R^{m\times m}$为核函数$\kappa$所对应的核矩阵。$(K{)}_{ij}=\kappa (x_i,x_j)$。令 1 i ∈ { 1 , 0 } m × 1 1_i \in \{1,0\}^{m\times 1} 1i​∈{1,0}m×1表示第$i$类样本地指示向量，即当$1_i$的第$j$个分量为1当且仅当$x_j\in X_i$，否则为0。令
$$\begin{gathered} {\hat{\mu }}_0=\frac{1}{m_0}K{1}_0 \\ {\hat{\mu }}_1=\frac{1}{m_1}K{1}_1 \\ M=({\hat{\mu }}_0-{\hat{\mu }}_1)({\hat{\mu }}_0-{\hat{\mu }}_1{)}^T \\ N=K{K}^T-\sum _{i=0}^1{m}_i{\hat{\mu }}_i{\hat{\mu }}_i^T \end{gathered}$$
于是，目标函数等价于
$$\underset{\alpha }{\max }J(\alpha )=\frac{{\alpha }^{T}M\alpha }{{\alpha }^{T}N\alpha }$$
利用线性判别分析求解法可以求得$\alpha$，进而求得投影函数$h(x)$。