RBF神经网络

核函数一般有如下函数
高斯函数

ϕ(u)=eu2δ2

反射Sigmoid函数
ϕ(u)=11+eu2δ2

逆多二次函数
ϕ(u)=1(u2+δ2)12

其中, δ>0 为基函数的拓展常数或宽度。


RBF(径向基函数神经网络)网络结构图如下
RBF神经网络结构
对于输入 x=(x1,x2,,xn)T c1,c2,,cm 为样本中心, w=(w1,w2,,wm×h) 为输出权重。则其第 yi 个输出为

yi=i=1hwijϕ(||xci||),  1jm


原理

  1. 内插问题
    假设有 n 个训练数据,输入为xi,1in,输出为 yi,1in ,则问题为求函数 F ,使y=F(x)
    训练:
    做插值问题时,可将 n 个训练数据作为样本中心,则问题只需要求w=(w1,w2,,wn)。 假设当输入为 xi,i=1,2,,N ,则第 j 个输出为
    hij=ϕj(||xicj||)

    其中, ϕj 为该隐含层节点的激活函数, cj=xj 为隐含层样本中心,用 H 表示 [hij] ,则RBF网络输出为
    yi=F(xi)=j=1Nhijwj=j=1Nϕj(||xicj||)

    yi=F(xi) y=tT=(y1,y2,,yN)T , w=(w1,w2,,wN)T ,则有
    y=Hw

    一般情况下,使用 N 个样本进行训练,此时w也为 N 元,此时H可逆,则可以求解 w
    w=H1y

存在问题: 容易出现过拟合


正则化网络

假定 S={(xi,yi)RN×R|i=1,2,,N} 为训练数据,若通过均方误差最小化目标函数,其目标函数为

ES(F)=12i=1N(yiF(xi))2

添加正则化项,
ER(F)=12||DF||2

则添加了正则化项的误差函数为
E(F)=ES(F)+λER(F)

通过求解上述误差函数的最小值,即
minE(F)=ES(F)+λER(F)=12i=1N(yiF(xi))2+12||DF||2

求解上面式子,可以得
F(x)=i=1NwiG(x,xi)W=(G+λI)1y

G(x,xi) 为Green函数, G 为Green矩阵,Green函数为算子 D 的形式有关。当D具有旋转不变性和平移
不变性, G(x,xi)=G(||xxi||) 。其中,一个典型的Green函数为
G(x,xi)=exp(12σ2||xxi|2|)


可通过K-means聚类确定样本中心。若给定有 k 个样本中心,则可随机取k个样本作为初始聚类中心,通过迭代求出 k <script type="math/tex" id="MathJax-Element-7671">k</script>个样本中心。


[1]田玉波,混合神经网络技术,科学出版社,2009年6月
[2]http://blog.sina.com.cn/s/blog_3eca118b0102vt9n.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值