核函数详解

核函数包括线性核函数、多项式核函数、高斯核函数等，其中高斯核函数最常用，可以将数据映射到无穷维，也叫做径向基函数（Radial Basis Function 简称 RBF），是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 ，可记作 k（||x-xc||）， 其作用往往是局部的，即当x远离xc时函数取值很小。

方法原理

编辑

根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。

设x,z∈X,X属于R（n）空间，非线性函数Φ实现输入空间X到特征空间F的映射，其中F属于R（m），n<<m。根据核函数技术有：

K(x,z) =<Φ(x)，Φ(z) > (1)

其中：<, >为内积，K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。

特点

编辑

核函数方法的广泛应用，与其特点是分不开的：

（1）核函数的引入避免了“维数灾难”，大大减小了计算量。而输入空间的维数n对核函数矩阵无影响，因此，核函数方法可以有效处理高维输入。

（2）无需知道非线性变换函数Φ的形式和参数.

（3）核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。

（4）核函数方法可以和不同的算法相结合，形成多种不同的基于核函数技术的方法，且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法。

常见分类

编辑

核函数的确定并不困难,满足Mercer定理的函数都可以作为核函数。常用的核函数有：线性核函数，多项式核函数，径向基核函数，Sigmoid核函数和复合核函数，傅立叶级数核，B 样条核函数和张量积核函数等。

以下是几种常用的核函数表示：

线性核（Linear Kernel）

多项式核（Polynomial Kernel）

径向基核函数（Radial Basis Function）

也叫高斯核（Gaussian Kernel），因为可以看成如下核函数的领一个种形式：

 

径向基函数是指取值仅仅依赖于特定点距离的实值函数，也就是。任意一个满足特性的函数 Φ都叫做径向量函数，标准的一般使用欧氏距离，尽管其他距离函数也是可以的。所以另外两个比较常用的核函数，幂指数核，拉普拉斯核也属于径向基核函数。此外不太常用的径向基核还有ANOVA核，二次有理核，多元二次核，逆多元二次核。
幂指数核（Exponential Kernel）

 

拉普拉斯核（Laplacian Kernel）

 

ANOVA核（ANOVA Kernel）

 

二次有理核（Rational Quadratic Kernel）

 

多元二次核（Multiquadric Kernel）

 

逆多元二次核（Inverse Multiquadric Kernel）

 

另外一个简单实用的是Sigmoid核（Sigmoid Kernel）

 

以上几种是比较常用的，大部分在SVM，SVM-light以及RankSVM中可用参数直接设置。还有其他一些不常用的，如小波核，贝叶斯核，可以需要通过代码自己指定。