BP算法简述

BP算法简述

By:Yang Liu
1.什么是BP算法
BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。
正向传播时，输入样本从输入层进入网络，经隐层逐层传递至输出层，如果输出层的实际输出与期望输出不同，则转至误差反向传播；如果输出层的实际输出与期望输出相同，结束学习算法。
反向传播时，将输出误差(期望输出与实际输出之差)按原通路反传计算，通过隐层反向，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的根据。这一计算过程使用梯度下降法完成，在不停地调整各层神经元的权值和阈值后，使误差信号减小到最低限度。
权值和阈值不断调整的过程，就是网络的学习与训练过程，经过信号正向传播与误差反向传播，权值和阈值的调整反复进行，一直进行到预先设定的学习训练次数，或输出误差减小到允许的程度。
2.BP算法的简要步骤
（1）初始化，用小的随机数给各权值和阈值赋初值。注意不能使网络中各初始权值和阈值完全相等，随机初始化使对称失效。
（2）读取网络参数和训练样本集。
（3）归一化处理。
（4）对训练集中每一样本进行计算。
①前向计算隐层、输出层各神经元的输出。
②计算期望输出与网络输出的误差。
③反向计算修正网络权值和阈值。
（5）若满足精度要求或其他退出条件，则结束训练，否则转步骤4)继续。
（6）结果分析与输出。

3.BP算法的缺点
(1)训练时间较长。
(2)完全不能训练。训练时由于权值调整过大使激活函数达到饱和，从而使网络权值的调节几乎停滞。
(3)易陷入局部极小值。
(4)“喜新厌旧”。训练过程中，学习新样本时有遗忘旧样本的趋势。
4.BP算法的优点
理论基础牢固，推导过程严谨，物理概念清晰，通用性好。BP网络可以较好地实现宽频带、小噪比、信号模式较少情况下的信号识别和信噪分离。
5.BP网络结构

6.BP算法的功能


参考文献：
（1）https://wenku.baidu.com/view/cc1ae8f25627a5e9856a561252d380eb63942375.html
（2）https://blog.csdn.net/cufewxy1/article/details/80445023
（3）https://blog.csdn.net/heyongluoyao8/article/details/48213345
（4）https://blog.csdn.net/weixin_42398658/article/details/83929474
（5）https://baike.baidu.com/item/反向传播算法/522948