1. 问题描述
最优化问题的一般形式如下所示:
对于 f:D⊆Rn→R1 ,求解
minx∈Ωf(x)s.t.{
s(x)⩾0h(x)=0
其中f(x)称为优化目标函数,s.t.称为约束条件。对于无约束最优化,没有约束条件要求,即在全部定义域内寻找目标函数最优值。此时,无约束最优化问题简化为如下形式:
minx∈Ωf(x)
针对最优化问题,我们往往不能求出全局最小点,只能求出局部最小点。因此,本文只讨论求目标函数的一个极小值。
2. 数学准备
根据高中数学知识,针对可导函数而言,函数在极值处导数为0。即 f′(xk)=0 是 xk 为 f(x) 的一个极值的必要条件(不是充分条件,因为该点还可能是“驻点”)。因此,我们只需要求解 f′(x)=0 的根并进行验证就可以了。然而,很多函数的导数可能非常复杂,不易甚至不能求出 f′(x)=0 的解析解。这里我们设计一种数值计算的算法,通过计算机的迭代计算,求出目标函数的一个极小值,我们称之为“最速下降法”。
2.1 梯度
设 f:D⊆Rn→R1 ,且 f(x) 处处可导,则 f(x) 在 x 处的梯度为: