SVM 核函数相关知识

前面的文章讲述的都是将SVM用于线性可分或者近似线性可分的情况，对于非线性可分的情况，正是本文要讨论的内容。

核技巧

线性不可分问题是指不能用一个超平面将数据划分成两个部分，如下图所示：

但是如果我们对原始数据进行非线性变换，则有可能将原始数据映射到能够线性可分的空间中：

对于上面这样的数据，如何实现这样的变换？

设原始特征空间为：$\mathcal{X}\subset R^2，x=(x^{(1)},x^{(2)}{)}^T\in \mathcal{X}$，新的特征空间为：$\mathcal{Z}\subset R^2，z=(z^{(1)},z^{(2)}{)}^T\in \mathcal{Z}$。

定义原空间到新空间的映射为：
$$z=\varphi (x)=((x^{(1)}{)}^2,(x^{(2)}{)}^2{)}^T$$
则原空间的椭圆：
$$w_1(x^{(1)}{)}^2+w_2(x^{(2)}{)}^2+b=0$$
变为了新空间的直线：
$$w_1{z}^{(1)}+w_2{z}^{(2)}+b=0$$
于是，只要把所有的样本都映射到新的空间中，就可以用线性可分SVM完成分类了。我们称这样的变换思想为核技巧。

核技巧的基本想法是：通过一个非线性变换将输入空间对应于一个特征空间，使得输入空间$R^n$中的超曲面对应于特征空间$\mathcal{H}$的超平面。这样，分类问题的学习任务通过在特征空间中求解线性SVM就可以完成。

核函数

假设映射$\varphi (x):\mathcal{X}\to \mathcal{H}$是一个从低维的输入空间$\chi$（欧式空间的子集或者离散集合）到高维的希尔伯特空间的$\mathcal{H}$映射。那么如果存在函数$K(x,z)$，对于任意$x,z\in \chi$，都有：
$$K(x,z)=\varphi (x)\cdot \varphi (z)$$
则称$K(x,z)$为核函数。其中$\varphi (x)\cdot \varphi (z)$表示x与z的内积，结果是一个常数。

为什么要引入核函数呢？

通常映射$\varphi$需要将低维的输入空间映射到更高维度的空间才可以线性可分(例如对异或进行分类)，那么分别计算$\varphi (x)，\varphi (z)$的话，运算量比较大。如果存在K(x, z)可以等效的计算$\varphi (x)\cdot \varphi (z)$，则可以极大的减少运算量。

举个例子：

假设输入空间是${\mathbb{R}}^2$，有 x = ( x ( 1 ) , x ( 2 ) ) ， z = ( z ( 1 ) , z ( 2 ) ) ， K ( x , z ) = ( x ⋅ z ) 2 x = (x^{(1)}, x^{(2)})，z = (z^{(1)}, z^{(2)})，K(x,z)=(x\cdot z)^2 x=(x(1),x(2))，z=(z(1),z(2))，K(<