BP神经网络算法推导

1、前馈神经网络、反馈神经网络、BP网络等，他们之间的关系
前馈型神经网络：
取连续或离散变量，一般不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系；在此种神经网络中，各神经元从输入层开始，接收前一级输入，并输入到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。常见的前馈神经网络有感知机（Perceptrons）、BP（Back Propagation）网络、RBF（Radial Basis Function）网络等。
BP网络：
BP网络是指连接权调整采用了反向传播（Back Propagation）学习算法的前馈网络。与感知器不同之处在于，BP网络的神经元变换函数采用了S形函数（Sigmoid函数），因此输出量是0~1之间的连续量，可实现从输入到输出的任意的非线性映射。
由上可知BP网络是通过BP算法来修正误差的前馈神经网络
反馈型神经网络：
取连续或离散变量，考虑输出与输入之间在时间上的延迟，需要用动态方程来描述系统的模型。

前馈型神经网络的学习主要采用误差修正法（如BP算法），计算过程一般比较慢，收敛速度也比较慢；
而反馈型神经网络主要采用Hebb学习规则，一般情况下计算的收敛速度很快。
神经网络分类：

参考：http://www.cnblogs.com/wengzilin/archive/2013/04/24/3041019.html