BP神经网络拟合数据及调优

一 、 实验背景
原始数据共4116个样本，4个类，每个样本的输入$x=[x_1,x_2]$，输出$y$,$y$的取值{1,2,3,4}；用一个三层的BP网络做数据的拟合

二、 算法描述与分析
1.算法描述
采用BP网络分类，BP网络结构为$2-2-1$，$n=2$个输入单元，$l=2$个隐含单元，$m=1$个输出单元，隐含层采用sigmoid函数$sigm(x)={1 \over 1+e^{-x}}$ ,输出层单元采用线性函数
网络第一层，即输入层与隐含层：
权值$w_{ij}$ 阈值$a_j$ ；程序中用均值为0.01，方差0.2的高斯分布的随机数初始化
网络第二层，即隐含层与输出层：
权值$w_{jk}$ 阈值$b_k$ ；程序中$w_{jk}$用均值为0.01，方差0.2的高斯分布的随机数初始化，$b_k$用(0,1)区间的均匀分布值初始化
sigmoid函数的图像

sigm(-5)=0.0067
sigm(5)=0.9933

采用误差反向传播更新权值阈值,训练网络，设定学习率$η_1,η_2$，最大迭代次数iteration
1) 隐含层输出
$H_j=f(∑_1^nw_{ij} x_i-a_j )$ $...........j=1,2,…,l$
$l$为隐含层节点数，$f$为隐含层激活函数
2) 输出层