最速下降法杂记

本文参考书籍最优化方法，部分参考漫步最优化三十二——最速下降法

最速下降法作为求解无约束最优化问题的入门算法，其思想是很多其他优化算法的基础。之前我一直对梯度下降法和最速下降法之间的关系和差异理解不清楚，只知道他们都是一阶方法，都沿负梯度方向迭代降低目标函数值，查了很多资料和网上的教程，发现讲得较为繁琐。经过系统学习和思考后我认为，最速下降法是梯度下降法的一种，该算法与一般梯度下降的区别在于，每次迭代过程中都要求目标函数值下降到搜索方向下的最小值。

最速下降法算法步骤

1. 给定目标函数：$minf(\mathbf{x})$，给定算法终止条件，通常是给定某误差$\epsilon >0$。
2. 取初始点${\mathbf{x}}_0$，令$k=$ 0。
3. 计算${\mathbf{g}}_k=\mathbf{g}({\mathbf{x}}_k)=▽f({\mathbf{x}}_k)$。
4. 若$\Vert {\mathbf{g}}_k\Vert \le \epsilon$，则${\mathbf{x}}^{\ast }={\mathbf{x}}_k$，算法终止；否则，令搜索方向${\mathbf{p}}_k=-{\mathbf{g}}_k$，由一维精确搜索或近似搜索求步长$a_k$，使得：
   $$f({\mathbf{x}}_k+$$