关于RBF神经网络的学习总结

在这里总结下科研需要用到的RBF神经网络知识。
https://www.cnblogs.com/pinking/p/9349695.html
https://blog.csdn.net/guoyunlei/article/details/74529320
https://www.cnblogs.com/pinking/p/9349695.html

https://wenku.baidu.com/view/c61384dda58da0116c174946.html

RBF神经网络

RBF神将网络是一种三层神经网络，其包括输入层、隐层、输出层。从输入空间到隐层空间的变换是非线性的，而从隐层空间到输出层空间变换是线性的。流图如下：

RBF基本思想

RBF网络的基本思想是：用RBF作为隐单元的“基”构成隐含层空间，这样就可以将输入矢量直接映射到隐空间，这个映射的过程就通过RBF函数完成（下面介绍RBF即径向基函数）而不需要通过权连接。当RBF的中心点确定以后，这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线性加权和，此处的权即为网络可调参数。
其中，隐含层的作用是把向量从低维度的p映射到高维度的h，这样低维度线性不可分的情况到高维度就可以变得线性可分了，主要就是核函数的思想。
这样，网络由输入到输出的映射是非线性的，而网络输出对可调参数而言却又是线性的。网络的权就可由线性方程组直接解出，从而大大加快学习速度并避免局部极小问题。
RBF函数：
径向基函数是一个取值仅仅依赖于离原点距离的实值函数，也就是Φ（x）=Φ(‖x‖),或者还可以是到任意一点c的距离，c点称为中心点，也就是Φ（x，c）=Φ(‖x-c‖)。任意一个满足Φ（x）=Φ(‖x‖)特性的函数Φ都叫做径向基函数，标准的一般使用欧氏距离（也叫做欧式径向基函数），尽管其他距离函数也是可以的。最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)2) } 其中x_c为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。

函数表示

径向基神经网络的激活函数可表示为：

其中xp径向基神经网络的结构可得到网络的输出为：

当然，采用最小二乘的损失函数表示：

梯度下降

简单易懂的推导：
https://blog.csdn.net/pengchengliu/article/details/80932232