BP网络的学习算法

BP神经网络具有多种学习算法： 最速下降法，BP神经网络 附加动量算法， 学习率可变的BP算法和拟牛顿法

（1） 最速下降法

梯度下降法(gradient descent)是一个最优化算法，通常也称为最速下降法。

常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。

梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

可以用于求解非线性方程组

顾名思义，梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。

</