matlab中bp创建多层神经网络,三层 BP 神经网络 matlab 实现

最近研究神经网络。BP网络是最经典最常用的神经网络。Matlab 有专门的工具箱用来实现 BP 算法。我用matlab语言重新实现BP算法，以便加深对该算法的理解程度。程序有点粗糙，只是为了实现算法。当然可以加上一些绘图命令来可视化神经网络学习过程。

% BP net R^m->R^h->R^n

%

sigmoid=@(x)1./(1+exp(-x));

% input : X,T

%x1=linspace(-1,1,5);x2=x1;

%[x2,x1]=meshgrid(x2,x1);

%X=[x1(:).';x2(:).'];

%T=sigmoid(3*X(1,:)+2*X(2,:)-1);

X=[[1;1],[1;0],[0;1],[0;0]];T=[1,0,0,0];

% parameters

[m,N]=size(X);h=3;[n,M]=size(T); % N==M

tol=1e-4;

lr=0.2; % learning rate

% initial value

W=rand(h,m);theta=rand(h,1);

V=rand(n,h);eta=rand(n,1);

% algorithm

Z=sigmoid(W*X-repmat(theta,1,N));

Y=V*Z-repmat(eta,1,N);

E=T-Y;

k=0;

%DW0=rand(1,m);DT0=0;

%Da0=0;Db0=0;

while(norm(E,'fro')>tol&&k<30000)

% lr=0.01/(1+k/500);

V=V+lr*(T-Y)*Z.';

eta=eta-lr*sum(T-Y,2);

D=V.'*(T-Y);

W=W+lr*(D.*Z.*(1-Z))*X.';

theta=theta-lr*sum(D.*Z.*(1-Z),2);

Z=sigmoid(W*X-repmat(theta,1,N));

Y=V*Z-repmat(eta,1,N);

E=T-Y;

k=k+1;

end

% output

norm(E,'fro')