摘要:迭代方法是求解非线性规划问题的基本方法。利用迭代算法求解非线性规划问题的关键在于:一、构造每一轮的搜索方向;二、确定步长。本文介绍下降迭代算法的概念、步骤和终止条件。
1. 为何需要迭代方法?
在无约束问题的极值条件中,我们讨论过极值的必要条件和充分条件。理论上讲,可以应用这些条件来求解相应的非线性规划问题的最优解。但在实际问题中,可能会遇到以下问题:
- 目标函数的导数不存在;
- 导数存在,但为非线性方程组,求解困难甚至无解析解;
- 问题为约束优化问题,不能简单套用无约束问题的极值条件。
与直接基于极值条件解析求解相对应的,是基于数值计算的迭代方法。事实上,迭代方法是求解非线性规划的更为一般的方法。我们在这里讨论极小值问题,其常用方法为下降迭代算法。
2. 下降迭代算法的概念
下降迭代算法主要包括两个概念:迭代与下降。
迭代 在优化计算中,迭代是指从已知点出发,依照某种规则(即算法)求出后继点,用 取代 ,然后重复以上过程,这样便会产生点列 和数列 。我们希望点列趋近于最优解,数列