支持向量机SVM（二）Kernel核函数

上一篇中，我们提到了SVM的原始函数与等价于对偶函数后的推导，这次来谈一谈低维度映射高维求超平面的核技巧。

该系列其他文章
SVM系列一：支持向量机SVM（一）原始函数与对偶函数
SVM系列三：支持向量机SVM（三）软间隔与松弛变量的替代损失函数

Kernel核技巧

开局一幅图，内容全靠编

在之前讨论原始函数与对偶函数的时候，我们都是以训练样本是线性可分作为假设，也就是说假设样本空间中一定存在一个超平面，能将所以样本正确分类，但是仔细想想这在现实中几乎不可能，就如左上图的样本分布，这类非线性问题往往不好解。

那么如何实现使用线性方法求解这种非线性问题？答案就是使用kernel核技巧。

kernel的基本思想就是，假设原始的数据是非线性的，我们通过一个映射 $\varphi (\cdot )$ 将其映射到一个高维空间（希尔伯特空间H）中，数据就变得线性可分了，然后在高维空间内用线性分类学习方法从映射了的训练数据中学习分类模型，这时候原始空间的超曲面模型就被映射为特征空间的超平面模型了。

有趣的是，如果原始空间是有限维，特征数有限，那么一定存在一个高维特征空间使得样本可分。这个证明以后会开一章来说。

这时候模型就可以表示为

$$f(x)={\omega }^T\varphi (x)+b$$

ϕ(x)是x映射后的特征向量，w,b依旧是模型参数。

还记得原始问题和转化为对偶问题的最后结果吗，在原始空间映射后，我们将得到转变后的原始问题和对偶问题

原始问题：
$$\begin{array}{rl}& \underset{\omega ,b}{\min }=\frac{1}{2}{\Vert \omega \Vert }^2\\ & s.t.yi({\omega }^T\varphi (x_i)+b)⩾1,i=1,2,...,m.\end{array}$$

对偶问题：
$$\begin{array}{rl}& \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)\\ & s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,\\ & {\alpha }_i⩾0,i=1,2,...,m.\end{array}$$

重要的是，我们知道，特征空间一般是高维的、甚至无穷的，如果我们直接计算在高维特征空间中的$\varphi (x_i{)}^T\varphi (x_j)$内积，很大程度上会遇到维度灾难。

接下来kernel派上用场，我们使用$\kappa (x_i,x_j)$核函数来代替映射后的内积计算，他们的结果是等价的，但是区别在什么地方？

之前是将样本映射到高维空间中，然后再根据内积的公式进行计算；使用核技巧后，直接在原来的原始空间中进行计算，而不需要直接计算高维甚至无穷维特征空间的内积，最重要的是结果是相等的。

探究结果为什么计算结果等价可以看这篇：一个核函数把低维空间映射到高维空间的例子，其中的计算简洁明了，一看就透，告诉了我们为什么在原始空间计算内积结果依旧等价。

而对于给定的核函数$\kappa (x_i,x_j)$，特征空间H和映射函数ϕ的取法并不唯一，可以取到不同的特征空间，即便是同一特征空间也可以取不同的映射。

接下来将对偶问题重写为
$$\begin{array}{rl}& \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j)\\ & s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,\\ & {\alpha }_i⩾0,i=1,2,...,m.\end{array}$$

和之前一样求解得到模型
$$\begin{array}{rl}f(x)& ={\omega }^T\varphi (x)+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\varphi (x_i{)}^T\varphi (x)+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\kappa (x_i,x_j)+b.\end{array}$$

简单提一下李航老师对kernel和映射函数关系的说明

Kernel核函数

回顾下kernel的使用流程，假设我们根据数据的形状和分布，假设我们能找到一个能在特征空间将数据线性可分的映射ϕ(⋅) ，假设我们能通过这个 $\varphi (\cdot )$ 得出对应的 $\kappa (\cdot ,\cdot )$进行内积计算，我们就能得到一个线性可分的完美模型。

假设终究是假设，构造一个合适的映射本身就不大可能，更别说特地找到最适合的核函数，不同的kernel，甚至不同参数的同类型kernel，都会映射到不同的高维空间。

对于核函数，核函数的本质是将原始输入空间映射到新的特征空间，从而使得原本线性不可分的样本在核空间可分，而且只要一个对称函数所对应的核矩阵半正定，他就能作为核函数使用，并且总能找到一个与之对应的映射$\varphi$，但是这是隐含的，并不是显式的，并不能直接使用。

SVM 的目标函数本身是并不能用来选择具体是哪个 Kernel 的，这是一个 model selection 的问题。因此我们会选取一些常用的核函数，这方面的一些经验是，文本数据通常采用线性核，对于情况不明的可以使用高斯核试水。

线性核，其实就是原始空间的内积。

多项式核，西瓜书中应该是将常数默认为0甚至是没有，在这种情况下多项式次数d>=1,等于1时就退化成了线性核。《统计学习方法》中多项式核其实是有常数的，$\kappa (x_1,x_2)=(⟨x_1,x_2⟩+R{)}^d$，核所对应的映射空间的维度是$(m+d,d)$ ，其中 m 是原始空间的维度。

高斯核，我们之前提过，特征空间一般是高维的、甚至无穷的，高斯核则会将原始空间映射为无穷维。但是通过调整超参$\sigma$，其具有很高的灵活度。$\sigma$的大小控制核函数随着数据点之间的距离而衰减的速度，$\sigma$ 很小的时候，核矩阵会近似于单位矩阵，但是可能会导致严重的过拟合。（其实我理解也不深刻）

核函数还可以组合使用


下一篇我会记录，如果在原始空间或者特征空间依然线性不可分的情况下，如何采取软间隔的方式，允许一部分瑕疵以达到最佳划分效果。