RBF是啥?
RBF全称Radial Basis Function,中文名称“径向基函数”,辣么RBF神经网络就是径向基函数神经网络了。
是不是想到了一种核函数就叫RBF?没错,就是这货:
衡量某个点到中心的距离
RBF神经网络是啥?
说白了就是以RBF作为激活函数的神经网络,不过与传统的BP神经网络在前向传播有所区别:拓扑结构:如何计算各单元值:
隐单元计算方法如下
输出层的计算不用说了,和传统方法一样,WZ即可。如何更新参数(包含中心向量C,宽度向量D,权重W)
把大概流程走一波:
① 初始化权重
,网上很多方法,什么fan-in,fan-out, 或者caffe里面的一堆方法
②初始化中心
意义:使较弱的输入信息在较小的中心附近产生较强的响应,这样可以不失一般性。
③初始化宽度向量
意义:使每个隐含层神经元更容易实现对局部信息的感受能力,有利于提高RBF神经网络的局部响应能力。
计算隐单元输出值:计算输出层值
损失
梯度下降,更新参数
————————————————————————————————————
总结:所以发现其实就是在计算隐层单元的时候用了RBF激活函数ÿ