多层神经网络

1、BP（Backpropagation）算法

BP算法又称反向传播算法，或者“广义δ准则”，是基于误差的梯度下降准则（即LMS算法）的一种自然延伸。也就是说BP算法是LMS（Least Mean Square:最小均方算法）算法的一个推广。BP算法功能强大，容易理解；其次因为其他很多训练方法都可以看作是对BP算法的变形或者修改。即使对拥有成千上万个参数的复杂模型，对它的反向传播训练也是十分简单的。反向传播的威力正式在于允许我们队每一个隐单元计算有效误差，并由此推导出一个输入层到隐含层权值的学习规则。

BP算法中，输入的均值越大，比值λmax/λmin越大。这个结果对于反向传播学习动力学有着重要的意义。