梯度下降法

    

 

梯度法尽管收敛速度较慢，但其迭代的几何概念比较直观，方法和程序简单，虽要计算导数，但只要求一阶偏导，存储单元较少。此外，当迭代点距目标函数极小点尚远时，无论目标函数是否具有二次性，梯度法开始迭代时的下降速度还是很快的。常常利用这个特点，将梯度法和其他方法配合使用构成更有效和实用的算法，在理论上梯度法仍不失为一种极为重要的基本优化方法。

 

例子：

用梯度下降法求 的极小值。