SVM之核技巧

上一篇，SVM与软硬间隔
下一篇，SVM多分类与可视化

核方法可以说是支持向量机的灵魂所在，是SVM中最为关键重要的内容。在面对一些非线性问题时，前面我们所讲的线程处理方式最终的效果差强人意。因此针对于非线性的核方法便应运而生。下面将会从核技巧、正定何证明、核技巧在SVM中的应用三个方面进行主要的介绍，最后会提供几种常用的核函数

核技巧

首先应明确核函数处理的问题：低维不可分
核方法定义：$K(x,z)=\phi (x).\phi (z)$
针对一个非线性问题一般不容易进行求解，通常情况下我们会对该问题进行变换，使之成为我们常见的线性问题。核方法采取的就是这种思想，通过一个相关的非线性变化，将非线性问题转化为一个线性问题后再进行学习。
核方法中通常将存在于欧式空间的输入数据通过一个相应的映射，映射到一个希尔伯特空间内形成相应的特征空间。通常这个特征空间维度要高于甚至远高于原本的欧式空间。然后再用现行分类学习的方法在这个特征空间上进行学习。(如下图所示，2维不可分，映射到三维的希尔伯特空间进行简单的线性划分就表现得非常好)
核技巧：$\phi (x)$转换后维度高，计算量大计算复杂度高，因此我们并不通过$\phi (x)\phi (z)$来得到$K(x,z)$,而是直接计算$K(x,z)$，避免了显式的定义映射函数$\phi (x)$及庞大的计算量

线性方法解决非线性问题(核方法)小结：
1：使用映射将原本数据的输入空间映射到特征空间上
2：使用线性分类方法在特征空间上进行学习分类

正定核证明

在SVM核方法中我们所说的核函数就是正定核函数，正定核函数其实有一个充要条件，设K：X*X∈R的空间中是对称函数，则K(x,z)为正定核函数的充要条件是对任意的$x_i\in X$,K(x,z)对应的Gram矩阵是半正定矩阵
换句话说针对一个K(x,z)我们只要证明其Gram矩阵为半正定矩阵那么该函数就是一个正定核函数。下面我们对上述定理的必要性、充分性进行证明。
先验知识：Gram matrix(格拉姆矩阵)

格拉姆矩阵是由两个向量之间的内积构成，内积形成了一个标量，量化了特征空间内两两向量之间的相关性
而且从下图可以明显地发现格拉姆矩阵是一个对称矩阵

必要性证明

必要性：已知$K(x,z)$为正定核函数，证明其Gram矩阵为半正定矩阵

由于$K(x,z)$是$R$上的正定核，所以存在从R到希尔伯特空间H的映射：
$K(x,z)=\phi (x).\phi (z)$
其中对于任意的向量$x_i$,构造$K(x,z)$的Gram矩阵
$Gram=[K(x_i,x_j){]}_{m\ast m}$
半正定定义：对于任意的≠0的向量$x_i$，都有$x_i^{T}A{x}_i\ge 0$,我们称A矩阵为半正定矩阵
利用这个定理，对于任意的向量$c_i,c_j$有：
${\sum }_i^m{\sum }_j^m{c}_i^T{c}_{j}K(x,z)={\sum }_i^m{\sum }_j^m{c}_i^T{c}_j\phi (x_i).\phi (x_j)=({\sum }_i^m{c}_i\phi (x_i)).({\sum }_j^m{c}_j\phi (x_j))$
$=||{\sum }_i^m{c}_i\phi (x_i)|{|}^2\ge 0$
必要性得证

在这里较为繁琐又涉及到一些先验知识，输入空间映射到完备的希尔伯特空间的转换(以下证明来自于李航统计学习方法，部分修改增减)

可以简单的分为三个步䠫：
前提：对称函数K(x,z)对应的Gram矩阵是半正定矩阵
1：定义映射φ并构成向量空间S
2：在S上定义内积构成内积空间
3：将S完备化构成希尔伯特空间

1：定义映射φ并构成向量空间S
定义一个映射
$\phi :x-->K(。,x)$
进行我们可以借此进行现行的表示
$f(。)={\sum }_i^m{\alpha }_{i}K(。,x_i)$

2：在S上定义内积构成内积空间
定义一个运算*，要符合内积空间要求
$f(。)={\sum }_i^m{\alpha }_{i}K(。,x_i)$
$f(。)={\sum }_j^m{\beta }_{j}K(。,x_j)$
$f\ast g={\sum }_i^m{\sum }_j^m{\alpha }_i{\beta }_{j}K(x_i,x_j)$

现在我们要保证我们定义的*运算能够帮助我们构成空间S的内积，即要满足上图条件，转化到f,g即以下形式
$(cf)\ast g=c(f\ast g)$
$(f+g)\ast h=f\ast h+g\ast h$
$f\ast g=g\ast f$
$f\ast f\ge 0,f\ast f=0-->f=0$
前面三个直接代入就可证明，自最后一个前半段利用Gram矩阵性质可知，所以仅需对
$f\ast f=0-->f=0$证明。
首先知道一个定理$|f\ast g{|}^2\le (f\ast f)(g\ast g)$
$K(。,x)\ast f=f(x)={\sum }_i^m{\alpha }_{i}K(x,x_i)$
$|f(x){|}^2=|{\sum }_i^m{\alpha }_{i}K(x,x_i){|}^2=|K(。,x)\ast f{|}^2)$
$|K(。,x)\ast f{|}^2\le (K(。,x))\ast (K(。,x))(f\ast f)=K(x,x)(f\ast f)$
$|f(x){|}^2\le K(x,x)(f\ast f)$
因此当$f\ast f=0-->f=0$

3：将S完备化构成希尔伯特空间
根据泛函理论，不完备的向量空间S，一定可以使之完备化，得到希尔伯特空间H,满足下列性质
$K(。,x)\ast f=f(x)$
$K(。,x)\ast K(。,z)=K(x,z)$

充分性证明

充分性：已知$K(x,z)$的Gram矩阵为半正定矩阵，证明$K(x,z)$为R上的正定核
根据上述的知识，定义一个映射，满足其内积空间要求总能使之完备化为希尔伯特空间H，进而满足
$K(。,x)\ast K(。,z)=K(x,z)$
$K(x,z)=\phi (x).\phi (z)$
充分性得证

核技巧在SVM中的应用

在上述的目标函数与决策函数中，都只涉及到了特征向量之间的内积，因此利用核技巧我们可以将$x_i,x_j$改写为$K(x_i,x_j)$
即：$L(x,b,\alpha )={\sum }_i^m{\alpha }_i-1/2{\sum }_i^m{\sum }_j^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j$
将核函数变换后为：
$L(x,b,\alpha )={\sum }_i^m{\alpha }_i-1/2{\sum }_i^m{\sum }_j^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)$

决策函数由：$f(x)=sign(wx+b)=sign({\sum }_i^m{\alpha }_i{y}_i{x}_{i}x+b)$
变换后为：$f(x)=sign(wx+b)=sign({\sum }_i^m{\alpha }_i{y}_{i}K(x_i,x)+b)$

常见核函数及其选择

下面以sklearn中常见的四种核函数为例进行介绍
1：线性核，就是我们常见的线性划分，只能处理线性问题
2：多项式核，可以处理线性和非线性问题，但是往往偏向于处理线性问题
3：双曲正切核，用以处理非线性问题
4：高斯核，可以处理线性与非线性问题，偏向于处理非线性问题
一般情况下，我们会对问题有一个定性的预判断，判断该问题是一个线性或非线性问题。线性有些选择线性核，非线性
优先选择高斯核