神经网络02 BP神经网络

BP算法基本原理

利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。

BP算法

最速下降BP法
1.工作信号正向传播
2.误差信号反向传播
权值调整量=学习率×局部梯度×上一层输出信号
隐含层传递函数为Sigmoid函数，输出层传递函数为线性函数。
动量BP法
在标准BP算法的权值更新阶段引入动量因子，使权值修正值具有一定惯性。
学习率可变的BP算法
当误差以减小的方式趋于目标时，说明修正方向是正确的，可以增加学习率；当误差增加超过一定范围时，说明前一步修正进行得不正确，应减小步长，并撤销前一步修正过程。
拟牛顿法
拟牛顿法有DFP方法，BFGS方法，SRI方法和Broyden族方法