机器学习算法——神经网络4(RBF神经网络)

RBF(Radial Basis Function,径向基函数)网络是一种单隐层前馈神经网络。它使用径向基函数作为隐层神经元激活函数,而输出层是对隐层神经元输出的线性组合

所以,RBF神经网络是一种三层神经网络,其包括输入层、隐层、输出层。从输入层到隐层的变换是非线性的,从隐层到输出层的变换是线性的。RBF神经网络结构如下图所示。

其中,\varphi我们称之为径向基函数,最常见的径向基函数是高斯径向基函数(或称为“高斯核函数”或者RBF核函数)。 高斯核函数定义如下:

\varphi (x_i, c_i) = e ^{-\frac{||x_i-c_i||^2}{2 \sigma^2}}

其中,c_i是第i个神经元的中心点,\sigma为高斯核的宽度。||x_i-c_i||为样本点x_i到中心点c_i的欧式距离。

假定输入为d维向量x,输出为实值,则RBF网络可定义为:

f(x) = \sum_{j=1}^{q} w_j \cdot \varphi (x, c_j)

其中,q为隐层神经元个数,wj是第j个隐层神经元所对应的权重,cj是第j个隐层神经元所对应的中心。

用均方误差定义误差函数,目标是为了最小化(累积)误差函数:

E= \frac{1}{2m} \sum_{i=1}^{m} e_i^2 = \frac{1}{2m} \sum_{i=1}^m (f(x)-y)^2 = \frac{1}{2m} \sum_{i=1}^{m} (\sum_{j=1}^q w_j \varphi(x, c_j) -y)^2

利用BP算法反向传播误差,并利用梯度下降法分别求得RBF网络参数,

  • 5
    点赞
  • 88
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值