机器学习 径向基(Radial basis function)与RBF核函数 浅析

径向基函数(RBF)在神经网络领域扮演着重要的角色，如 RBF神经网络具有唯一最佳逼近的特性，径向基作为核函数在SVM中能将输入样本映射到高维特征空间，解决一些原本线性不可分的问题。

      本文主要讨论：

       1. 先讨论核函数是如何把数据映射到高维空间的，然后引入径向基函数作核函数，并特别说明高斯径向基函数的几何意义，以及它作为核函数时为什么能把数据映射到无限维空间。

       2.提到了径向基函数，就继续讨论下径向基函数神经网络为什么能用来逼近。

       注：核函数是一回事，径向基函数是另一回事。

核函数表示的是高维空间里由于向量内积而计算出来的一个函数表达式(后面将见到)。

径向基函数是一类函数，径向基函数是一个它的值(y)只依赖于变量(x)距原点距离的函数，即 ；也可以是距其他某个中心点的距离，即 。也就是说，可以选定径向基函数来当核函数，譬如SVM里一般都用高斯径向基作为核函数，但是核函数不一定要选择径向基这一类函数。

    一.由非线性映射引入核函数概念，之后介绍高斯径向基及其几何意义。

    预先规定是一个非线性映射函数,能够把空间  中任一点,映射到空间  中  。

    下面先用一个例子说明这种映射的好处。

     例：假设二维平面上有一些系列样本点  ,他们的分布近似是一个围绕着原点的圆（见图1）。那么在这个二维的样本空间里，这些样本点满足的曲线方程为：

                                         

如果设非线性映射为： 

                                         

那么在映射后的的空间里，曲线方程变成了：