BP神经网络分类器的设计

最新推荐文章于 2023-05-31 10:47:07 发布
最新推荐文章于 2023-05-31 10:47:07 发布
阅读量1k 收藏 7
点赞数
文章标签： 人工智能 matlab
原文链接：http://www.cnblogs.com/hustlx/p/5263259.html
版权

 

 

1.BP神经网络训练过程论述
　　BP网络结构有3层：输入层、隐含层、输出层，如图1所示。

ip_image002[3]

图1 三层BP网络结构
　　3层BP神经网络学习训练过程主要由4部分组成：输入模式顺传播（输入模式由输入层经隐含层向输出层传播计算）、输出误差逆传播（输出的误差由输出层经隐含层传向输入层）、循环记忆训练（模式顺序传播与误差逆传播的计算过程反复交替循环进行）和学习结果判别（判定全局误差是否趋向极小值）。

　　下面具体介绍和分析用梯度下降法训练BP神经网络，在第1次输入样品（1=1，2，……，N）进行训练时各个
　　参数的表达及计算方法。
　　（1）确定参数。

  1. 输入向量为X=[x1，x2，…，xn]T（n—输入层单元个数）；
  2. 输出向量Y=[y1，y2，…，yq]T（q—输出层单元个数）；
  3. 希望输出向量O=[o1，o2，…，oq]T；
  4. 隐含层输出向量B=[b1，b2，…，bp]T（p—隐含层单元个数）；
  5. 初始化输入层至隐含层的连接权值Wj=[wj1，wj2，…，wjt，…，wjn]T，j=1，2，…，p；
  6. 初始化隐含层至输出层的连接权值Wk=[wk1，wk2，…，wkj，…，wkp]T，k=1，2，…，q。
    　　

（2）输入模式顺序传播。

这一过程主要是利用输入模式求出它对应的实际输出。

  1. 计算隐含层各神经元的激活值lip_image011[4]：
    　　          lip_image013[4]（j=1,2,3…p）

lip_image015[6]为隐含层单元的阈值

lip_image017[4]为输出层至隐含层的连接权

  1. 激活函数用S型函数，即：

              lip_image019[4]

这里之所以选S型函数为BP神经网络神经元的激活函数，是因为它是连续可微分的，而且更接近于生物神经元的信号输出形式。

 

  1. 计算隐含层j单元的输出值：

      lip_image021[4]

   阈值lip_image015[7]在学习过程中和权值一样不断被修改，阈值的作用反应在函数的输出曲线上，

ip_image023[3]

                         图3 阈值的作用

由图可见阈值的作用相当于输出值移了lip_image025[4]个单位。同理可求出输出端的激活值和输出值。

  1. 计算输出层第k个单元的激活值lip_image027[4]：

                      lip_image029[4]

lip_image031[4]为隐含层至输出层的权值

lip_image033[4]输出层单元阈值

  1. 计算输出层第k个单元的实际输出值lip_image035[4]：

                      lip_image037[4] （t=1,2,3…q）

lip_image039[4]为S型激活函数。

（3）输出误差的传播。

在第（2）步的模式顺传播计算中得到网络的实际输出值，当这些实际的输出值与希望的输出值不一样时或者说误差大于所限定的数值时，就要对网络进行校正。
①输出层的校正误差为：

                  lip_image041[4] （k=1，2，3…q）

②隐含层各单元的校正误差为：

                 lip_image043[4]

 

③对于输出层至隐含层连接权和输出层阈值的校正量为：

                             lip_image045[4]

α为学习系数，α>0。

lip_image047[4]为隐含层j单元的输出。

lip_image049[4]为输出层的校正误差。
　　

④隐含层至输入层的校正量为：

lip_image051[4]
　　lip_image053[4]为隐含层j单元的校正误差。


　　（4）循环记忆训练。对于BP神经网络输入的每一组训练模式，一般都要经过数百次甚至上万次的循环记忆训练，才能使网络记住这一模式。这种循环记忆训练实际上就是反复重复上面介绍的输入模式。
　　（5）学习结果的判别。判别的目的主要是检查输出误差是否已经小到可以允许的程度。学习或者说训练的过程是网络全局误差趋向于极小值的过程。
2.BP神经网络分类器设计
　任务一：2bit异或问题，输入及其对应的输出

input=[0 0 ;

      0 1;

      1 0;

      1 1];

output=[0;1;1;0];

2个输入神经元，2个隐含层神经元，1个输出层神经元，MATLAB代码如下：

% % % % % % % % % % % % % % %

% name:bpnet1.m

% function:solve 2bit XOR Problem with a Neural bpnetwork

% input:no

% return:no

% programer:LI Xin

% % % % % % % % % % % % % % %

clear;clc;close all;

sigma=0.01;%精度控制参数

alpha=0.8;%学习率

M=10000;%循环的最大次数

in_num=2; %输入节点个数

mid_num=2;%隐含层神经元个数

out_num=1;%输出层神经元个数

input=[0 0 ;

       0 1;

       1 0;

       1 1];

output=[0;1;1;0];

hide_s=zeros(1,mid_num);%隐含层的激活值

hide_o=zeros(1,mid_num);%隐含层的输出值

delta_h=zeros(1,mid_num);%隐含层各联结权的修改量组成的向量

sita_h = rand(1,mid_num) ;%隐含层的阈值

sita_o=rand(1,out_num) ;%输出层阈值

output_o=zeros(1,out_num);%输出层的输出值

output_s=zeros(1,out_num);%输出层的激活值

delta_o=zeros(1,out_num);  %输出层各联结权的修改量组成的向量

T=4;%样本个数

w=rand(in_num,mid_num,'double');%初始化输入层到隐含层连接权值

v=rand(mid_num,out_num,'double'); %初始化隐含层到输出层连接权值

E = sigma + 1;

N = 0;

while((E>sigma)&&(N<M))

    N=N+1;

    for t=1:T

       for i=1:mid_num

           hide_s(i)=0;

           for j=1:in_num

               hide_s(i)=hide_s(i)+w(j,i)*input(t,j);

           end

           hide_s(i)=hide_s(i)-sita_h(i);          % 计算隐含层各神经元的激活值hide_s

           hide_o(i)=1.0/(1.0+exp(-hide_s(i)));     %隐含层神经元的输出值

       end

       for i=1:out_num

           output_s(i)=0;

           for j=1:mid_num

               output_s(i)=output_s(i)+v(j,i)*hide_o(j);

           end

           output_s(i)=output_s(i)-sita_o(i);      %计算输出层各神经元的激活值output_s

           output_o(i)=1.0/(1.0+exp(-output_s(i))); % 输出层神经元的输出值

       end

       for i=1:out_num

           delta_o(i)=output_o(i) * ( 1 - output_o(i) ) * ( output(t,i) - output_o(i) );

                                           %输出层的校正误差delta_o=(o-y)y(1-y)

           sita_o(i)=sita_o(i)-alpha*delta_o(i);    %输出层阈值校正量

       end

       for i=1: mid_num

                            Z = 0;

                            for j=1:out_num

                                     Z = Z+v(i,j) * delta_o(j);

            end

                            delta_h(i) = Z * hide_o(i) * ( 1 - hide_o(i) );  %隐含层的校正误差

                            sita_h(i) = sita_h(i)-alpha * delta_h(i);      %隐含层阈值校正量

       end

       for i=1: mid_num

                                     for j=1:out_num

                                               v(i,j) = v(i,j) +alpha * hide_o(i) * delta_o(j); %输出层至隐含层权值校正

                end

       end

       for i=1:in_num

                                     for j=1: mid_num

                                               w(i,j) = w(i,j)+alpha * input(t,i) * delta_h(j); %隐含层至输入层权值的校正

                end

       end

    end

    E=0;

    for t=1:T

        for i=1:mid_num

                                     hide_s(i) = 0;

                                     for j=1:in_num

                                               hide_s(i) = hide_s(i)+w(j,i) * input(t,j);

                end

                                     hide_s(i) = hide_s(i)-sita_h(i);              %计算隐含层各神经元的激活值hide_s

                                     hide_o(i) = 1.0 / ( 1.0 + exp(-hide_s(i)) );      %隐含层神经元的输出值

        end

        for i=1: out_num

                                     output_s(i) = 0;

                                     for j=1:mid_num

                                               output_s(i) = output_s(i)+v(j,i) * hide_o(j);

                end

                output_s(i) = output_s(i)-sita_o(i);          %计算输出层各神经元的激活值output_s

                                     output_o(i) = 1.0 / ( 1.0 + exp(-output_s(i)) );  %输出层神经元的输出值

        end

            error = 0;

                            for i=1:out_num

                                     error = error +( output_o(i) - output(t,i)) * ( output_o(i) - output(t,i) );

            end

            E = E +error / 2;

    end

end

str=sprintf('网络学习%d次结束，误差为：%d，各层权值如下：',N,E);

disp(str)

disp('输入层到隐藏层权值：');

for i=1:in_num

    for j=1:mid_num

        str=sprintf('w[%d,%d]=%d',i,j,w(i,j)) ;

        disp(str)

    end

end

disp('隐藏层到输出层权值：');

for i=1:mid_num

    for j=1:out_num

        str=sprintf('v[%d,%d]=%d',i,j,v(i,j));

        disp(str)

    end

end

disp('对应着样本实际输出为:')

for t=1: T

       str=sprintf('第%d个样本',t);

       disp(str)

                   for i=1:mid_num

                            hide_s(i) = 0;

                            for j=1:in_num

                                     hide_s(i) = hide_s(i)+w(j,i) * input(t,j);

            end

                            hide_s(i) = hide_s(i)-sita_h(i);             %计算隐含层各神经元的激活值hide_s

                            hide_o(i) = 1.0 / ( 1.0 + exp(-hide_s(i)) );      %隐含层神经元的输出值

        end

        for i=1: out_num

                                     output_s(i) = 0;

                                     for j=1:mid_num

                                               output_s(i) = output_s(i)+v(j,i) * hide_o(j);

                end

                output_s(i) = output_s(i)-sita_o(i);         %计算输出层各神经元的激活值output_s

                                     output_o(i) = 1.0 / ( 1.0 + exp(-output_s(i)) );  %输出层神经元的输出值

        end

        disp('输入样本')

        disp(input(t,:))

        disp('输出样本')

        disp(output_o) 

end     

 

任务二：识别问题，输入输出如下：

input=[0 0 0 0 0 0 0 1;

      0 0 0 0 0 0 1 0 ;

      0 0 0 0 0 1 0 0 ;

      0 0 0 0 1 0 0 0 ;

      0 0 0 1 0 0 0 0 ;

      0 0 1 0 0 0 0 0 ;

      0 1 0 0 0 0 0 0 ;

      1 0 0 0 0 0 0 0 ];

output=[0 0 0 0 0 0 0 1;

       0 0 0 0 0 0 1 0 ;

       0 0 0 0 0 1 0 0 ;

       0 0 0 0 1 0 0 0 ;

       0 0 0 1 0 0 0 0 ;

       0 0 1 0 0 0 0 0 ;

       0 1 0 0 0 0 0 0 ;

       1 0 0 0 0 0 0 0 ];

8个输入神经元，3个隐含层神经元，8个输出层神经元，详细代码与任务一差别不大，在此不再赘述，详见附件bpnet2.m

3.实验过程

对于任务一的异或问题，令学习率为0.8，迭代次数上限10000次，精度0.01，写好代码后运行结果如下：

网络学习2054次结束，误差为：9.987865e-03，各层权值如下：

输入层到隐藏层权值：

w[1,1]=-4.319853e+00

w[1,2]=-6.118312e+00

w[2,1]=4.479814e+00

w[2,2]=5.661403e+00

隐藏层到输出层权值：

v[1,1]=-6.512379e+00

v[2,1]=6.853598e+00

对应着样本实际输出为:

第1个样本

输入样本

     0     0

输出样本

    0.0724

第2个样本

输入样本

     0     1

输出样本

    0.9411

第3个样本

输入样本

     1     0

输出样本

    0.9128

第4个样本

输入样本

     1     1

输出样本

0.0605

 

可见其学习后的输出和期望输出差距不大。

对于任务二的识别问题，令学习率为0.8，迭代次数上限10000次，精度0.01，写好代码后运行结果如下：

网络学习5786次结束，误差为：9.998725e-03，各层权值如下：

输入层到隐含层权值：

w[1,1]=-3.179389e+00

w[1,2]=4.680957e+00

w[1,3]=-2.814682e+00

w[2,1]=5.307254e+00

w[2,2]=3.485574e+00

w[2,3]=5.443434e+00

w[3,1]=-5.120963e+00

w[3,2]=-3.003381e+00

w[3,3]=-2.533489e-01

w[4,1]=1.072151e-01

w[4,2]=-4.017080e+00

w[4,3]=5.120281e+00

w[5,1]=5.281661e+00

w[5,2]=-4.188798e+00

w[5,3]=1.327247e-01

w[6,1]=-4.166501e+00

w[6,2]=3.666821e+00

w[6,3]=4.480010e+00

w[7,1]=4.666180e+00

w[7,2]=4.637388e+00

w[7,3]=-2.178645e+00

w[8,1]=3.595688e-01

w[8,2]=-1.660022e+00

w[8,3]=-5.989204e+00

隐藏层到输出层权值：

v[1,1]=-7.888675e+00

v[1,2]=7.121264e+00

v[1,3]=-1.422755e+01

v[1,4]=-1.645257e+00

v[1,5]=1.155231e+01

v[1,6]=-8.289016e+00

v[1,7]=8.183556e+00

v[1,8]=1.246045e+00

v[2,1]=6.724860e+00

v[2,2]=3.464005e+00

v[2,3]=-8.313719e+00

v[2,4]=-8.505718e+00

v[2,5]=-8.905993e+00

v[2,6]=4.500327e+00

v[2,7]=5.055143e+00

v[2,8]=-7.146627e+00

v[3,1]=-8.436705e+00

v[3,2]=7.793561e+00

v[3,3]=-2.065419e+00

v[3,4]=1.213004e+01

v[3,5]=-6.566507e-01

v[3,6]=7.878356e+00

v[3,7]=-8.415250e+00

v[3,8]=-1.719139e+01

对应着样本实际输出为:

第1个样本

输入样本

     0     0     0     0     0     0     0     1

输出样本

  Columns 1 through 7

    0.0056    0.0000    0.0275    0.0001    0.0319    0.0000    0.0151

  Column 8

    0.9546

第2个样本

输入样本

     0     0     0     0     0     0     1     0

输出样本

  Columns 1 through 7

    0.0154    0.0232    0.0000    0.0000    0.0055    0.0000    0.9731

  Column 8

    0.0207

第3个样本

输入样本

     0     0     0     0     0     1     0     0

输出样本

  Columns 1 through 7

    0.0150    0.0234    0.0028    0.0144    0.0000    0.9735    0.0000

  Column 8

    0.0000

第4个样本

输入样本

     0     0     0     0     1     0     0     0

输出样本

  Columns 1 through 7

    0.0000    0.0188    0.0000    0.0225    0.9645    0.0000    0.0094

  Column 8

    0.0229

第5个样本

输入样本

     0     0     0     1     0     0     0     0

输出样本

  Columns 1 through 7

    0.0000    0.0163    0.0236    0.9647    0.0238    0.0178    0.0000

  Column 8

    0.0000

第6个样本

输入样本

     0     0     1     0     0     0     0     0

输出样本

  Columns 1 through 7

    0.0046    0.0000    0.9598    0.0287    0.0003    0.0054    0.0000

  Column 8

    0.0280

第7个样本

输入样本

     0     1     0     0     0     0     0     0

输出样本

  Columns 1 through 7

    0.0000    0.9647    0.0000    0.0034    0.0040    0.0110    0.0159

  Column 8

    0.0000

第8个样本

输入样本

     1     0     0     0     0     0     0     0

输出样本

  Columns 1 through 7

    0.9768    0.0000    0.0130    0.0000    0.0000    0.0210    0.0191

  Column 8

0.0122

 

 

4.实验总结

可见本次实验较好的完成了bp神经网络的建模，在学习率和误差精度上都达到了要求，通过这次实验深入的理解了神经网络的结构和各参数之间的作用，为以后的科研学习打下了一定基础，对于第二个任务要比第一个任务计算耗时大很多，可见bp神经网络是收敛速度比较慢。

              

转载于:https://www.cnblogs.com/hustlx/p/5263259.html

weixin_30755393
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BP神经网络简单应用实例,bp神经网络的设计方法
神经网络爱好者
10-04 2336
BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。 人工神经网络
经典神经网络分类器之BP算法和自组织竞争网络
lyp82nlf666的博客
06-29 2855
经典神经网络分类器 感知器 感知器学习算法是误分类驱动的在线学习算法，任意选取一个具有参数的分离超平面，采用随机梯度下降法不断极小化损失函数，多次迭代训练得到感知器参数w b。 定义损失函数（训练样本被错分的程度）： 随机梯度下降法: BP网络 由于感知器学习算法是一种单层网络的学习算法，在多层网络中，它只能改变最后层的权值。BP算法即误差反向传播算法，解决了多层神经网络隐含层神经元连接权值学习的问题，它用 Sigmoid 激活函数替代了阶跃函数 sigmoid函数导数满足以下性质： 对于一个神经网络
【神经网络分类器】（二）比西瓜书详细的BP网络误差反向传播推导
weixin_44378835的博客
12-19 1349
【神经网络分类器】（二）浅层神经网络 【神经网络分类器】（一）人工神经元网络的基本概念 文章目录【神经网络分类器】（二）浅层神经网络1 感知器网络2 BP网络 1 感知器网络 根据罗森布拉特的感知器算法，如果把输入看作是样本的特征向量，输出看作是分类结果，那么感知器就能实现一个二类的线性分类。 如果我们想实现多类分类，怎么处理呢？ 我们可以使用多个感知器。如果我们为每一类都设计一个感知器，并且将他们并联起来，即让所有的输入都同时进入每一个感知器，则可以解决多类的分类问题，这样就构成了一个具有多类分类能力
【BP神经网络模型】
武帝为此的博客
05-31 3297
BP神经网络模型（Backpropagation Neural Network）是一种广泛应用于机器学习和人工智能领域的神经网络模型。它以其强大的非线性拟合能力和适应性而备受关注。
MATLAB 人工智能实验设计 基于BP神经网络的鸢尾花分类器设计
05-15
了解分类问题的概念以及基于BP神经网络设计分类器的基本流程。 二、实验平台 MatLab/Simulink仿真平台。 三、实验内容和步骤 1. iris数据集简介 iris数据集的中文名是安德森鸢尾花卉数据集，英文全称是Anderson's ...
JAVA_BP神经网络分类器.7z
12-21
JAVA_BP神经网络分类器.7z
BP神经网络实现分类
12-20
利用matlab实现的bp神经网络分类，已经手动求好梯度，可以根据需要选择是否加入偏置。 经测试，正确率可达到90%以上
ANN:BP神经网络分类器
05-11
BP神经网络分类器，使用iris数据集，data文件夹里的iris.txt是原始数据，train.txt和test.txt是从原始数据中随机划分的训练集和测试集，用tan-sigmoid做激活函数分类准确率接近100%！原理分析详见 ##BP神经网络 ##...
模式识别实验报告-BP神经网络分类器
03-14
模式识别课程实验报告： 实验要求： （1）掌握基于随机梯度下降法的两层sigmoid神经元的BP算法。 （2）掌握用MATLAB神经网络工具箱提供的函数设计BP网络。 （3）检验分类器的有效性。
利用BP神经来进行分类，不一样的分类器，不一样的感觉。
10-25
利用bp神经网络老进行分类，自己用的话，需要把里面的数据完成你自己的
BP网络实现分类
09-28
BP网络实现分类 MATLAB
BP神经网络用于两类图片识别分类
09-06
BP神经网络用于两类图片识别分类
C语言bp神经网络，四分类任务
weixin_40267061的博客
04-10 543
该程序是gpt生成的，我稍加改动，可以直接运行。后续会上传到github上。
BP神经网络分类器
weixin_45505744的博客
11-03 1421
目录： 1.标准梯度下降 2.增量梯度下降 3.反向传播算法 神经网络以最小平方误差为评判准则。 1.标准梯度下降 最小平方误差定义： Ed=12∑(td−od)2E_{d}=\frac{1}{2}\sum \left ( t_{d} -o_{d}\right )^{2}Ed​=21​∑(td​−od​)2 其中$ t_{d}为目标输出，为目标输出，为目标输出，o_{d}$为实际输出. od=w→...
实现 BP 神经网络分类器，并利用其对 MNIST 数据集进行分类
superhang02的博客
04-13 662
掌握BP神经网络分类器的基本工作原理。理解BP神经网络激活函数以及学习率等参数的调节方法。
基于BP_Adaboost的强分类器设计
爱听雨的犬猫
09-21 1272
Adaboost算法的思想是合并多个“弱”分类器的输出以产生有效分类。本文将BP神经网络作为弱分类器，通过Adaboost将多个弱BP神经网络分类器组合成强BP神经网络分类器。
2022福大数学建模赛题B题-BP神经网络多分类（基于Tensorflow）-附python代码
qq_50626322的博客
06-06 2109
题目3：根据食物寒热属性（分为三类：性平、性温热、性凉寒）分类。利用基于Tensorflow的BP神经网络解决此多分类问题。
BP神经网络——案例一
weixin_45634365的博客
04-07 1543
构建一个BP神经网络，给定输入向量P=[−1−122405057]\boldsymbol{P}=\begin{bmatrix} -1&-1&2&2&4\\ 0&5&0&5&7\end{bmatrix}P=[−10​−15​20​25​47​]和目标向量T=[−1−111−1]\boldsymbol{T}=\begin{bmatrix} -1&-1&1&1&-1\end{bmatrix}T=[−1​−1​1​1​−
BP神经网络——案例二
weixin_45634365的博客
04-07 1493
利用三层BP神经网络来完成非线性函数的逼近任务，其中隐层神经元的个数为10个。下表为输入与输出数据表。 1、分析问题 从题中分析可知，期望的输出D的范围在(−1,1)(-1,1)(−1,1)之间，所以在神经网络中采用双极性tansig函数作为传递函数。 2、程序 ...
基于BP神经网络分类器MATLAB代码
最新发布
06-02
以下是一个简单的基于BP神经网络分类器的MATLAB代码示例，用于分类Iris数据集： ``` % 导入Iris数据集 load fisheriris X = meas'; Y = ind2vec(grp'); % 创建BP神经网络分类器 net = patternnet(10); % 将数据集划分为训练集和测试集 net.divideFcn = 'dividerand'; net.divideParam.trainRatio = 0.7; net.divideParam.valRatio = 0.15; net.divideParam.testRatio = 0.15; % 设置BP神经网络分类器的训练参数 net.trainFcn = 'trainlm'; net.performFcn = 'mse'; % 训练BP神经网络分类器 [net,tr] = train(net,X,Y); % 使用BP神经网络分类器对测试集进行分类 testX = X(:,tr.testInd); testY = net(testX); % 计算分类准确率 testY = vec2ind(testY); testT = vec2ind(Y(:,tr.testInd)); accuracy = sum(testY == testT) / length(testT); fprintf('Classification accuracy: %f\n', accuracy); ``` 该代码示例中，首先导入Iris数据集，并将样本特征和类别标签分别存储在X和Y中。然后，使用patternnet函数创建一个包含10个神经元的BP神经网络分类器。接着，将数据集划分为训练集、验证集和测试集，并设置BP神经网络分类器的训练参数。使用train函数对BP神经网络分类器进行训练，并使用测试集测试分类器的性能。最后，计算分类准确率并输出结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值