BP神经网络及拟合实例

BP神经网络结构

BP神经网络(Back Propagation)是一种多层神经网络，其误差是反向传播的，因此称为BP神经网络。
BP神经网络包括输入层、隐含层和输出层三层，通常来说，隐含层的激活函数为
$$f_1(x)=\frac{1}{1+e^{-x}}$$
输出层的激活函数为
$$f_2(x)=x$$

前向计算

我们记BP神经网络具有n个输入层神经元，隐含层有$s_1$个神经元，输出层有$s_2$个神经元。其隐含层权值矩阵为$W_1\in R^{s_1\times u}$，偏置向量为$b_1\in R^{s_1}$，输出层权值矩阵为$W_2\in R^{s_2\times s_1}$，偏置向量为$b_1\in R^{s_2}$。
BP神经网络的前向计算过程可以分为：隐含层的输出计算和输出层的输出计算。
我们记隐含层的输出为$a\in R^{s_1}$，输出层的输出为$y\in R^{s_2}$。
一个神经元的计算过程包括两部分：

1. 输入的线性组合
2. 激活函数的计算

隐含层的输入为神经网络的输入$u\in R^n$，其输出为
$$a=f_1(W_{1}u+b_1)$$
在matlab中，我们可以运用其矩阵运算来很方便的计算上式。
输出层的输入为隐含层的输出$a$，其输出为
$$y=f_2(W_{2}a+b_2)$$

误差反向传播

梯度下降法

通过有效的训练，BP神经网络可以具有逼近任何非线性函数的能力。定义神经网络的估计误差均方差
$$E=\frac{1}{2}\sum _{i=1}^{s_2}{e}_i^2=\frac{1}{2}\sum _{i=1}^{s_2}(y_d-y{)}^2$$
其中，$y_d$为期望的输出，$y$为神经网络对输出的预测(或者说估计)。
神经网络的训练过程为，通过误差不断调整神经网络的参数(权值和偏移量)，使得网络的估计误差均方差最小。
梯度下降法便是一种最为常用的寻找目标函数(即误差均方差函数$E$)的方法。其基本原理为，沿着目标函数的梯度方向，目标函数是下降最快的。

输出层参数调节

基于上文，我们可以知道，调节权值矩阵$W_2$的最快方法为
$$\Delta W_{2ij}=-\eta \frac{\partial E}{\partial W_{2ij}}$$
可以将上式表示为矢量形式，对权值矩阵的一整行进行操作，记权值矩阵$W_2$的第$i(i=1,2,...s_2)$行为$W_{2i0}$，可知，此行元素通过影响第$i$个输出，进而影响到最后的误差。权值矩阵$W_2$第$i$行的更新值为
$$\Delta W_{2i0}=-\eta \frac{\partial E}{\partial W_{2i0}}$$
可以通过链式法则来计算，即偏微分如下形式
$$\frac{\partial E}{\partial W_{2i0}}=\frac{\partial E}{\partial e_i}\frac{\partial e_i}{\partial f_2}\frac{\partial f_2}{\partial W_{2i0}}=-e_i{f}_2^{\prime }{a}^T$$
那么，可以得到，输出层权值矩阵$W_2$第$i$行的更新律为
$$\Delta W_{2i0}=\eta e_i{f}_2^{\prime }{a}^T$$
类似的，可以得到偏移量$b_2$的更新律为
$$\Delta b_{2i}=\eta e_i{f}_2^{\prime }$$

隐含层参数调节

隐含层参数矩阵和偏移量的更新方法是一样的，同样是对误差平方差进行求偏导得到，但是要复杂很多。权值矩阵$W_1$的第$i$行是通过隐含层所有神经元来影响最终的网络输出的，因此，其更新律为
$$\Delta W_{1j0}=-\eta \sum _{k=1}^{s_2}(\frac{\partial E}{\partial e_k}\frac{\partial e_k}{\partial f_2}\frac{\partial f_2}{\partial a_j}\frac{\partial a_j}{\partial W_{1j0}})=\eta f_2^{\prime }u\sum _{k=1}^{s_2}(e_k{W}_{2kj})f_1^{\prime }$$
表示为矩阵运算形式为
$$\Delta W_1=\eta {\mathbf{A}}^{\prime }{\mathbf{W}}_2^T{\mathbf{Y}}^{\prime }\mathbf{e}{\mathbf{u}}^T$$
其中，${\mathbf{A}}^{\prime }=diag[f_{1j}^{\prime }{]}_{s_1\times s_1}$, ${\mathbf{Y}}^{\prime }=diag[f_{2j}^{\prime }{]}_{s_2\times s_2}$为对角阵。
类似的，偏移量$b_1$的更新律只与权值$W_1$相差一个因子$u$
$$\Delta b_{1j}=\eta f_2^{\prime }{f}_1^{\prime }\sum _{k=1}^{s_2}(e_k{W}_{2kj})$$
化为矩阵运算形式为
$$\Delta {\mathbf{b}}_1=\eta {\mathbf{A}}^{\prime }{\mathbf{W}}_2^T{\mathbf{Y}}^{\prime }\mathbf{e}$$

BP神经网络拟合实例

采用BP神经网络对正弦函数$y=sin(t)$进行拟合。网络结构设置为1-20-1，代码如下

% 训练简单的BP神经网络来拟合，自己写训练算法
clear,clc
%% 生成训练数据
ts = 0.01;
u1 = 0;
y1 = 0;

for k=1:1000
    u(k) = k*ts;
    y(k) = sin(u(k));
end
n = length(u);

训练算法主体部分

%% 训练算法
% 采用的BP神经网络为1-20-1的结构
yita = 0.1;     %训练速度
num_h = 20;
w1 = rand(num_h,1);
% w1 = ones(num_h,1);
w2 = rand(num_h,1);
% w2 = ones(num_h,1);
b1 = zeros(num_h,1);
b2 = 0;
e_tol = 1e-3;
e = e_tol;
cnt = 1;
while cnt<10000 && e>=e_tol
    % 打乱数据
    idx_rand = randperm(n);
    x_train = y(idx_rand);    %网络输出
    u_train = u(idx_rand);    %网络输入
    e = 0;
    for i=1:400
        %神经网络前向计算
        for j = 1:num_h
            H_input(j) = u_train(i)*w1(j)+b1(j);
            H_output(j) = logsig(H_input(j));
        end
        Output(i) = dot(H_output,w2)+b2;
        %误差反向传播
        Error(i) = x_train(i) - Output(i);
        for j=1:num_h
            Delta_w2(j) = yita*Error(i)*H_output(j);
            Dlogsig(j) = H_output(j)*(1-H_output(j));
            Delta_w1(j) = yita*Error(i)*w2(j)*Dlogsig(j)*u_train(j);
            w1(j) = w1(j)+Delta_w1(j);
            w2(j) = w2(j)+Delta_w2(j);
            b1(j) = b1(j) + yita*Error(i)*w2(j)*Dlogsig(j);
        end
        b2 = b2 + yita*Error(i);
        e = e + Error(i)^2/2;
    end
    e = e/400;
    e_store(cnt) = e;
    cnt = cnt+1;
end

检测训练结果，并进行可视化

%% 检验训练结果
for i = 1:n
%     k = randi(1000);
    u_test = u(i);
    x_test = y(i);
    
    for j=1:num_h
        H_input_test(j) = u_test*w1(j)+b1(j);
        H_output_test(j) = logsig(H_input_test(j));
    end
    Output_test(i) = dot(H_output_test,w2)+b2;
%     Output_test(i) = net_BP(u_test(i),w1,w2,b1,b2);
    Error_test(i) = x_test-Output_test(i);
    
end
time = u;
figure(2)
plot(time(1:n),y(1:n),'r');
hold on
plot(time(1:n),Output_test,'b--');
hold on
plot(time(1:n),Error_test,'g-.');
legend('train','test','error');

神经网络拟合结果如下