我来介绍一下"反向传播学习算法"和"梯度下降法"

梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代

能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。
    最速下降法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，可以是
较小的常数。g（k）是x(k)的梯度。
    直观的说，就是在一个有中心的等值线中，从初始值开始，每次沿着垂直等值线方
向移动一个小的距离，最终收敛在中心。 
    对于某一个性能指数，我们能够运用梯度下降法，使这个指数降到最小。若该
指数为均方误差，我们便得到了最小均方误差（LMS）算法。
    BP算法也是要使性能指数-均方误差达到最小，它与LMS算法的差别在于对于权值导数
（即梯度）的计算方式上。    

    LMS是运用在单层线性网络中的，误差是网络权值的显示线性函数，权值导数可直接
求得。但其只能解决线性可分问题。    

    BP算法用于有隐藏层的多层网络中，权值和误差的关系比较复杂，需要用到微积分链

法则。该算法可以解决线性不可分问题。
    如何使用链法则，是个比较复杂的问题，可以参考《神经网络设计》一书。