BP神经网络

BP神经网络

BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。

基本原理

人工神经网络无需事先确定输入输出之间映射关系的数学方程，仅通过自身的训练，学习某种规则，在给定输入值时得到最接近期望输出值的结果。作为一种智能信息处理系统，人工神经网络实现其功能的核心是算法。BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络，其算法称为BP算法，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。
训练过程图

训练步骤
步骤1. 初始化网络权重
每两个 神经元之间的网络连接权重wij被初始化为一个很小的随机数，同时，每个神经元有一个偏置θi,也被初始化为一个随机数。

步骤2. 向前传播输入(前馈型网络)
根据训练样本x提供网络的输入层，通过计算得到每个神经元的输出。

步骤3.反向误差传播
由步骤2，可以通过与预期输出相比较的到的输出单元j的误差。
得到的误差需要从后向前传播，前面一层单元 j 的误差可以通过和它链接的后面一层的所有单元 k 的误差计算所得。

步骤4.网络权重与神经元偏置调整
在处理过程中，一边后向传播误差，一边调整网络权重和神经元的阈值。
调整权重的方法是从输入层与第一隐含层的连接权重开始，依次向后进行。
神经元偏置的调整方法是对每个神经元 j 进行如公式 θj=θj+△θ+(η)Ej 所示的更新。
其中η是学习率，通常取0~1之间的常数。该参数也会影响算法的性能，太小的学习率会导致学习进行得慢，而太大的学习率可能回事算法出现不适当的解之间振动的情况。

步骤5.判断结束
对于每个样本，如果最终的输出误差小于可接受的范围或者迭代次数t达到了一定的阈值，则选取下一个样本，转到步骤2重新继续执行；否则，迭代次数t加1，然后转向步骤2继续使用当前样本进行训练。

代码实现

% BP神经网络的构建
net=newff([-1 2;0 5],[3,1],{'tansig','purelin'},'traingd')
net.IW{1}
net.b{1}

p=[1;2];
a=sim(net,p)
net=init(net);
net.IW{1}
net.b{1}
a=sim(net,p)
%net.IW{1}*p+net.b{1}
p2=net.IW{1}*p+net.b{1}
a2=sign(p2)
a3=tansig(a2)
a4=purelin(a3)
net.b{2}
net.b{1}

net.IW{1}
net.IW{2}
0.7616+net.b{2}
a-net.b{2}
(a-net.b{2})/ 0.7616
help purelin

p1=[0;0];
a5=sim(net,p1)
net.b{2}
% BP网络
% BP神经网络的构建
net=newff([-1 2;0 5],[3,1],{'tansig','purelin'},'traingd')
net.IW{1}
net.b{1}
%p=[1;];
p=[1;2];
a=sim(net,p)
net=init(net);
net.IW{1}
net.b{1}
a=sim(net,p)
net.IW{1}*p+net.b{1}
p2=net.IW{1}*p+net.b{1}
a2=sign(p2)
a3=tansig(a2)
a4=purelin(a3)
net.b{2}
net.b{1}




P=[1.2;3;0.5;1.6]
W=[0.3 0.6 0.1 0.8]
net1=newp([0 2;0 2;0 2;0 2],1,'purelin');
net2=newp([0 2;0 2;0 2;0 2],1,'logsig');
net3=newp([0 2;0 2;0 2;0 2],1,'tansig');
net4=newp([0 2;0 2;0 2;0 2],1,'hardlim');

net1.IW{1}
net2.IW{1}
net3.IW{1}
net4.IW{1}
net1.b{1}
net2.b{1}
net3.b{1}
net4.b{1}


net1.IW{1}=W;
net2.IW{1}&#