高立数值最优化方法_《数值与最优化方法》（五）

点击返回目录

三. 直接搜索方法（免导数方法）

以下方法针对最优化问题具有目标函数不可导或没有显式解析表达式等特征，使得经典优化方法难以求解的困境。下述方法仅仅利用到问题的目标函数值信息。

3.1 Hooke-Jeeves步长加速法

1. 问题形式

它是对于无约束优化问题

而言的。又称为模式搜索 (pattern search)，由

探测搜索和 模式移动两个部分组成。

探测搜索是在出发点(参考点)的周围寻找比它更好的点，从而确定一个有利的前进方向(基点)。模式移动则是从基点出发沿着有利的方向进行加速，得到新的参考点。（可以理解为要先“跳跃”一下，然后再进行搜索并移动，【1】P478的图可以帮助理解）

该方法就是反复探测再移动，从而使得迭代点向极小点移动.

2. 算法步骤

描述如下图所示。其中

为初始点，

表示参考点，

表示基点，

为初始步长，

是收缩因子，

是加速因子，令

是 n 个相互正交的方向。

在探测过程中，

分别表示两个搜索后得到的新的参考点，依情况进行选择。如何方向

都用完了，则进行相应的操作后将

重新置为1。

3.2 Powell方向加速法

1. 问题形式

它是对于具有对称正定的二次函数

的

无约束最优化问题而言的。其基本思想是在不使用导数的情况下，在迭代过程中逐步构造至多

个关于

共轭的方向组。

2. 算法步骤

描述如下图所示。（参见【1】P481-482的图示帮助理解）

然而，对于上述算法，味的简单更替可能导致所得到的 个方向是线性相关的，因而不能构成为线性空间，所得到的极小点只能是某一维数小于 的线性流形(【1】P484定义6.1）上的极小点，从而导致算法失效。（【1】P485例6.2）

处理方法就是从n+1个方向中选出最好的n个方向。首先要知道俩定义，假设

是

空间的n个非零向量，则：

(1)【1】P487的定义6.2定义了如何衡量它们的正交程度，并且由【1】P488的定理6.2证明得到它们的正交程度一定是小于等于1的。

(2) 【1】P491的定义6.3定义了如何衡量它们关于

的共轭程度。

如下图所示，是后来提出的改进的powell方向加速算法。

3. 收敛分析

【1】P483定理6.1，证明了对于正定二次函数powell法至多次 迭代就会求得最优解。

点击返回目录