最速下降法

1. 定义

一阶最优化算法。

以负梯度方向作为极小化方法的下降方向，即 （1.1）

2. 为什么负梯度方向是下降最快的方向？

（1）将目标函数f(x)在x_k处泰勒级数展开，如下所示：

（2.1）

其中x_k表示第k次极值迭代点，是f(x)在x_k处的偏导，o(x_k)表示高阶无穷小。

（2）将迭代公式（标准的line search公式，其中p是下降方向，一般有||p||=1，而α是迭代步长，可以通过wolfe condition得到）代入（2.1），可得

（2.2）

从而为了让，需要使（o(x_k)高阶无穷下，可以忽略）。

（3）和 p 都是向量，从而满足下式

（2.3），可得

（2.4）

根据，为了使（2.4）式取得最小值，有，即此时 p 刚好是梯度反方向，由公式表示如下：

（2.5）

3. 优缺点

优点：

（1）程序简单，计算量小；

（2）对初始点没有特别的要求；

（3）最速下降法是整体收敛的，且为线性收敛

缺点：

（1）它只在局部范围内具有“最速”属性， 对整体求解过程，它的下降速度是缓慢的；

（2）靠近极小值时速度减慢；

（3）可能会'之字型'地下降

4. 参考文献

http://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95

http://www.codelast.com/?p=2573

http://www.codelast.com/?p=8006