最速下降法

最速下降法有两种，一种是学习步长每次都是确定的（这里不讨论），一种是学习步长是按照沿直线最小化计算获得。

这里不进行公式的推导，只是用图例解释：

特点：1.在等值图中看到的寻优路线呈锯齿状（标准90度）

             2.沿直线的最小化总会在轮廓线上的一点停止，因为此处在此方向上的导数为零。