最速下降法

参考： 【最优化】一文搞懂最速下降法
再谈 梯度下降法/最速下降法/Gradient descent/Steepest Descent

一、目的

最速梯度下降法解决的问题是无约束优化问题，而所谓的无约束优化问题就是对目标函数的求解，没有任何的约束限制的优化问题，比如求最小值： $minf(x)$

二、计算步骤

解析

第1步：主要是选取初始值以及终止误差。

第2步：计算$x^k$处(即第k次迭代的x值)的梯度值，并根据迭代条件判断是否可以终止迭代。对于迭代终止条件为什么是$||\nabla f(x^k)||\le \epsilon$,请看下图：

驻点又称平稳点，是指一阶导为0的点，可能是极大值、极小值或鞍点。

第3步：取负梯度方向。因为梯度方向是局部函数变化最快（增长）的方向，反之负梯度方向是局部函数下降最快的方向。

第4步：确定了方向之后，就是要确定搜索步长了。选择一个合适的步长是非常最重要的，这直接决定我们的收敛速度。

最速下降法与梯度下降法并不完全等价：

三、优点

程序简单，计算量小；并且对初始点没有特别的要求；此外，许多算法的初始/再开始方向都是最速下降方向（即负梯度方向

四、缺点

算法中迭代点的移动成锯齿形状（原因是相邻两次迭代点的搜索方向时正交的,此处可参考第二个参考文章），接近极小点时，步长很小，速度较慢。特别适当目标函数的等值 线为比较扁平的椭圆时，收敛就更慢了