RBF神经网络和拟合实例

RBF神经网络介绍

RBF神经网络结构

径向基函数(Radial Basis Function, RBF)神经网络是一种单隐含层的三层前馈神经网络，网络结构如下图所示

RBF神经网络模拟了人脑中局部调整，相互覆盖接受域（或者说感受域，Receptive Field）的神经网络结构。与BP神经网络相同，研究人员已经证明RBF神经网络能够以任何精度逼近任意非线性函数。

RBF神经网络算法

便于分析，记RBF神经网络的输入为m维，隐含层有$s_1$个神经元，输出层有$s_2$个神经元。
RBF神经网络隐含层神经元的激活函数为如下所示的高斯基函数
$$h_j=\exp (-\frac{||\mathbf{x}-{\mathbf{c}}_j|{|}^2}{2b_j^2}),j=1,2,...,s_1$$
其中，${\mathbf{c}}_j=[c_{j1},c_{j2},...,c_{jm}{]}^T$为第j个隐含层神经元高斯基函数的中心向量，$m$表示网络输入$\mathbf{x}$的维数，$b_j$为第j个隐含层神经元高斯基函数的宽度。与之前提及的BP神经网络中的sigmod函数不同，高斯基函数只在有限的范围内，输入是非零的，超过一定的范围，其输出则为零。
在一维情况下，不同的${\mathbf{c}}_j$和$b_j$对高斯基函数的影响如下图所示

可以看到，$b_j$越大，高斯基函数的非零输出区域越大，表明对输入的映射能力越强。${\mathbf{c}}_{\mathbf{j}}$表示非零输出区域的中心位置，输入离中心越近，其输出值会更大，表明高斯基函数对输入更加敏感。
RBF神经网络的输出为
$$\mathbf{y}=\mathbf{W}\mathbf{H}$$
其中，$\mathbf{W}\in R^{s_2\times s_1}$为RBF神经网络输出层权值矩阵，$H\in R^{s_1}$为隐含层输出，$\mathbf{H}=[h_1,h_2,...,h_{s_1}{]}^T$。

RBF神经网络逼近算法

相较BP神经网络，RBF神经网络结构更加简单，同时需要调节的参数也更少，只有输出层的权值矩阵$\mathbf{W}$需要在训练过程中调节。与BP神经网络类似，我们可以以采用梯度下降法来调节权值矩阵。
定义RBF神经网络的估计误差指标为
$$E=\frac{1}{2}\sum _{i=1}^{s_2}||e_i|{|}^2=\frac{1}{2}\sum _{i=1}^{s_2}||{\mathbf{y}}_{\mathbf{d}}-\mathbf{y}|{|}^2$$
其中，${\mathbf{y}}_{\mathbf{d}}$为期望输出。
对误差指标关于输出层权值矩阵$\mathbf{W}$中元素进行求导得到
$$\frac{\partial E}{\partial W_{i0}}=\frac{\partial E}{\partial e_i}\frac{\partial e_i}{\partial y_i}\frac{\partial y_i}{\partial W_{i0}}=-e_i{h}_i$$
那么，权值可按如下方式调节
$$\begin{gathered} \Delta W_{i0}=-\eta e_i{h}_i \\ {W}_{i0}(k+1)=W_{i0}(k)+\Delta W_{i0}+\alpha (W_{i0}(k-1)-W_{i0}(k-2)) \end{gathered}$$
其中，$\eta \in (0,1)$为学习速度，$\alpha \in (0,1)$为动量因子。

采用RBF神经网络逼近非线性函数

采用RBF神经网络，逼近简单的正弦函数
$$y=sin(t)$$
可知，采用的RBF神经网络输入和输出层神经元数量都为1，设置隐含层神经元数量为10个。
由于RBF神经网络采用的激活函数在有限区域内输出为非零，因此在设计RBF神经网络的时候，需要根据网络的输入来确定每个隐含层神经元激活函数的参数，即$c_j$和$b_j$。合适的网络参数能够提升网络的逼近效果和性能，而不合适的参数会导致神经网络训练失败，或者达不到想要的效果。
通常来说，$c_j$参数需要与网络的输入相匹配，要保证输入在高斯基函数的有效映射区域内；同样的，根据输入的范围和高斯基函数的中心，来设置一个合适的宽度参数$b_j$。
在本例中，神经网络的输入为时间$t\in [0,10]$，因此取径向基函数中心和宽度为
$$\begin{gathered} \mathbf{C}=[1,2,3,4,5,6,7,8,9,10{]}^T \\ \mathbf{B}=[b_j{]}_{10\times 1},b_j=1,j=1,2,...10 \end{gathered}$$

神经网络逼近结果

训练过程中误差收敛情况如下所示

将训练得到的神经网络进行验证

代码如下

%训练简单的RBF神经网络来拟合非线性函数
clear,clc
%% 生成训练数据
ts = 0.01;
u1 = 0;
y1 = 0;

for k=1:1000
    u(k) = k*ts;
    y(k) = sin(u(k));
end
len = length(u);
%% RBFNN初始设置
% RBFNN结构为1-10-1
n = 1;
s1 = 10;
s2 = 1;
c = (1:1:10);    %高斯基函数中心
b = ones(s1,1).*2;    %高斯基函数宽度
W = rand(s2,s1);   %输出权值矩阵
DW = zeros(s2,s1);
Wt1 = zeros(s2,s1); %上一时刻权值阵
Wt2 = zeros(s2,s1); %上上时刻权值阵
H = zeros(s1,1);    %隐含层输出
m = 500;
Error = zeros(m,s2);
%% 训练算法
e_tol = 1e-4;
irt_max = 20000;
e = ones(irt_max,1);
eta = 0.3;
alpha = 0.1;
for cnt = 1:irt_max
    idx_rand = randperm(1000);
    u_train = u(idx_rand);
    y_train = y(idx_rand);
    % 前向计算
    for i = 1:m
       x = u_train(i);
       for j = 1:s1
          H(j) = exp(-(x-c(j))^2/(2*b(j)^2));    %隐含层计算
       end
       y_etm = dot(W,H);     %神经网络预测值
       Error(i) = y_train(i) - y_etm;
       % 权值更新
       Wt = W;  %当前时刻W
       for j = 1:s1
          DW(j) = eta*Error(i)*H(j);                
          W(j) = Wt(j) + DW(j) + alpha.*(Wt1(j)-Wt2(j));  %W update
       end
       Wt2 = Wt1;
       Wt1 = Wt;
    end
    % 检测是否达到误差要求
    e(cnt) = (norm(Error))^2/2/len;
    if e(cnt) < e_tol
        break;
    end
end

检验训练结果

%% 检验训练结果
idx_vad = (1:20:1000);
u_test = u(idx_vad);
for i = 1:length(idx_vad)
    x = u_test(i);
    for j = 1:s1
        H(j) = exp(-(x-c(j))^2/(2*b(j)^2));    %隐含层计算
    end
    y_test(i) = W*H;     %神经网络预测值
end
figure(1)
plot(u,y,'b--','LineWidth',1);
hold on
plot(u_test,y_test,'r-*');
legend('reference','estimation')
grid on
figure(2)
plot(e(1:cnt));
grid on
legend('error')
%% 检验2
for i = 1:1000
    u_test2(i) = i*ts*5;
    y_test2(i) = sin(u_test2(i));
    x = u_test2(i);
   for j = 1:s1
        H(j) = exp(-(x-c(j))^2/(2*b(j)^2));    %隐含层计算
    end 
    y_vad2(i) = W*H;
end
figure(3)
plot(u_test2,y_vad2,'r','LineWidth',0.75);
hold on
plot(u_test2,y_test2,'b--','LineWidth',1)
grid on
legend('estimation','reference')