[最优化算法]最速下降法求解无约束最优化问题

1. 问题描述

最优化问题的一般形式如下所示：
对于$f:D\subseteq R^n \rightarrow R^1$，求解

$$\min_{x\in\Omega} f(x) \qquad s.t. \left\{ \begin{aligned} s(x)\geqslant0 \\ h(x)=0 \end{aligned}\right.$$
其中f(x)称为优化目标函数，s.t.称为约束条件。对于无约束最优化，没有约束条件要求，即在全部定义域内寻找目标函数最优值。此时，无约束最优化问题简化为如下形式：
$$\min_{x\in\Omega} f(x)$$
针对最优化问题，我们往往不能求出全局最小点，只能求出局部最小点。因此，本文只讨论求目标函数的一个极小值。

2. 数学准备

根据高中数学知识，针对可导函数而言，函数在极值处导数为0。即$f'(x_k)=0$是$x_k$为$f(x)$的一个极值的必要条件（不是充分条件，因为该点还可能是“驻点”）。因此，我们只需要求解$f'(x)=0$的根并进行验证就可以了。然而，很多函数的导数可能非常复杂，不易甚至不能求出$f'(x)=0$的解析解。这里我们设计一种数值计算的算法，通过计算机的迭代计算，求出目标函数的一个极小值，我们称之为“最速下降法”。

2.1 梯度

设$f:D\subseteq R^n \rightarrow R^1$，且$f(x)$处处可导，则$f(x)$在$x$处的梯度为：

∇f(x)=[∂f(x)∂x1,∂f(x)∂x2,⋯,∂f(x)∂xn<