最速梯度下降法及matlab实践,最速下降法以及代码实现

由于最近复习最优化考试，为了防止考完即忘，这里做个笔记用于备忘，本文讲解一下无约束优化问题中的最速下降法。

一、解决的问题

最速梯度下降法解决的问题是无约束优化问题，而所谓的无约束优化问题就是对目标函数的求解，没有任何的约束限制的优化问题，比如求下方最小值：

其中的函数

.

求解这类的问题可以分为两大类：一个是最优条件法和迭代法。

最优条件法是是指当函数存在解析形式，能够通过最优性条件求解出显式最优解。对于无约束最优化问题，如果f(x)在最优点x*附近可微，那么x*是局部极小点的必要条件为：

我们常常就是通过这个必要条件去求取可能的极小值点，再验证这些点是否真的是极小值点。当上式方程可以求解的时候，无约束最优化问题基本就解决了。

实际中，这个方程往往难以求解。这就引出了第二大类方法：迭代法。

今天我们来看一种迭代法，最速梯度下降法！

二、最速梯度下降法

下面先给出最速梯度下降法的计算步骤：

由以上计算步骤可知，最速下降法迭代终止时，求得的是目标函数驻点的一个近似点