关于梯度下降法及它的一些变形

一.讨论无约束优化问题：

最速下降法求解无约束优化问题最简单和古老的方法之一。虽然如今它有很多缺陷，但却是研究其他约束优化算法的基础。

用不同的方式确定搜索方向或搜索步长，会得到不同的算法。最速下降法是用负梯度方向作为搜索方向，因此也称为梯度法。