RBF的一点个人理解

最近才接触神经网络，以下是我个人对RBF网络的一点理解，有不对的地方欢迎大家指正！

RBF网络的理解：

模式可分性的Cover定理：假设空间不是稠密分布的，将复杂的模式分类问题非线性的投射到高维空间将比投射到低维空间更可能是线性可分的。

以一个输入层，一个隐藏层和一个输出层的RBF网络为例：

两个映射：1）从输入空间到隐藏空间的非线性映射；2）从隐藏空间到输出空间的线性映射。

1）从输入空间到隐藏空间的非线性映射

对于一个m0维的输入模式X，定义一个m1维的实值函数向量{fi(x)}。则向量{fi(x)}将m0维输入空间的点映射到新的m1维空间的相应点上。函数fi(x)称为隐藏函数，或者径向基函数。

2）从隐藏空间到输出空间的线性映射（其中包括插值过程；插值的目的是找到一个光滑的超曲面）

        

超曲面为：F(X) = d.其中d为系统的期望输出。

 写成矩阵形式为：

 因此，可得权向量为：。

其中大fi矩阵应当满足非奇异的条件。可选fi函数为多二次函数，逆多二次函数以及高斯函数。

注意：

1、输入层和隐藏层之间没有连接权值，他只是一个非线性的映射问题

2、隐藏层到输出层是一个线性分类的过程。分类超曲面为插值得到的曲面。

具体的实现技术和原理参考博文：http://www.cnblogs.com/zhangchaoyang/articles/2591663.html