核技巧(Kernel trick)解析

1. 核方法
Kernel的基本思想是，将低维空间不可分数据映射到高纬度的空间，比如说左图的数据是线性不可分的，

将数据映射到三维空间，就可以得到线性的分类面

总结：在低维空间线性不可分，映射到高纬空间，线性可分的概率会增大，比如说，数据在一维空间线性可分的难度比二维空间线性可分的难度大，二维空间线性可分的难度比在三维空间线性可分的难度大,以此类推。
2. 核函数

2维空间映射到3维空间的结果是：

在映射后的空间的内积为：

3. 核函数在非线性回归中的应用
有训练样本xi，其标定yi, i=1,2…N，欲求解一个回归函数f(z)，希望f(xi)=yi，
线性回归：使用线性函数来预测，即 求解方法有许多种，以脊回归(Ridge Regression)为例，最小化下列函数即可：

这个最小化问题有闭式解：

其中，X的第i行为xi，列向量y的第i元素为yi
非线性回归：
使用非线性函数来预测，即f(z)是关于z的非线性函数，非线性函数能够处理线性函数搞不定的分类问题，非线性函数的估计较难，为了提高效率，引入了核方法。
对z进行一个非线性变换ψ，f(z)是变换结果的线性函数：

w 由训练样本的非线性变换ψ(xi)的线性组合构成：

两者结合，得到完整形式：

记κ(xi,xj)=ψ(xi)ψ(xj)，称为核函数:

进一步推导：