matlab神经网络流程图,BP神经网络算法步骤.doc

BP神经网络算法步骤,bp神经网络算法,bp神经网络,bp神经网络算法原理,bp神经网络算法流程图,bp神经网络算法matlab,bp神经网络算法实例,bp神经网络算法java,bp算法,曲妙玲

传统的BP算法简述

BP算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。具体步骤如下：

(1)初始化，随机给定各连接权[w],[v]及阀值θi，rt。

(2)由给定的输入输出模式对计算隐层、输出层各单元输出

(3)计算新的连接权及阀值，计算公式如下：

(4)选取下一个输入模式对返回第2步反复训练直到网络设输出误差达到要求结束训练。

第三步，计算隐含层各神经元的输入和输出

第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数

第五步，利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数

第六步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值

第七步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。

第八步，计算全局误差

第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。

第二种方法：

BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。

一个神经网络的结构示意图如下所示。

BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)。输入层神经元的个数由样本属性的维度决定，输出层神经元的个数由样本分类个数决定。隐藏层的层数和每层的神经元个数由用户指定。每一层包含若干个神经元，每个神经元包含一个而阈值，用来改变神经元的活性。网络中的弧线表示前一层神经元和后一层神经元之间的权值。每个神经元都有输入和输出。输入层的输入和输出都是训练样本的属性值。

对于隐藏层和输出层的输入 其中，是由上一层的单元i到单元j的连接的权；是上一层的单元i的输出；而是单元j的阈值。

神经网络中神经元的输出是经由赋活函数计算得到的。该函数用符号表现单元代表的神经元活性。赋活函数一般使用simoid函数(或者logistic函数)。神经元的输出为：

除此之外，神经网络中有一个学习率(l)的概念，通常取0和1之间的值，并有助于找到全局最小。如果学习率太小，学习将进行得很慢。如果学习率太大，可能出现在不适当的解之间摆动。

交代清楚了神经网络中基本要素，我们来看一下BP算法的学习过程：

BPTrain(){

????? 初始化network的权和阈值。

????? while 终止条件不满足 {

??????????? for samples中的每个训练样本X {

??????????? // 向前传播输入

??????????? for 隐藏或输出层每个单元j {

????????????????? ；// 相对于前一层i，计算单元j的净输入 ；// 计算单元j的输出

??????????? }

??????????? // 后向传播误差

??????????? for 输出层每个单元j {

????????????????? ；// 计算误差

??????????? }

??????????? for 由最后一个到第一个隐藏层，对于隐藏层每个单元j {

?????????????????? ；// k是j的下一层中的神经元

??????????? }

??????????? for network中每个权 {

??????????????????? ； // 权增值

??????????????????? ； // 权更新

???????????? }

???????????? for network中每个偏差 {

????????????????????? ； // 偏差增值

????????????????????? ；// 偏差更新

???????????? }

????? }

}

算法基本流程就是：

1、初始化网络权值和神经元的阈值(最简单的办法就是随机初始化)

2、前向传播：按照公式一层一层的计算隐层神经元和输出层神经元的输入和输出。

3、后向传播：根据公式修正权值和阈值

直到满足终止条件。

算法中还有几点是需要说明的：

1、关于，是神经元的误差。

对于输出层神经元，其中，是单元j的实际输 出，而是j基于给定训练样本的已知类标号的真正输出。

对于隐藏层神经元，其中，是由下一较高