漫步最优化四十——Powell法(上)

最新推荐文章于 2024-06-23 16:58:48 发布

会敲键盘的猩猩

最新推荐文章于 2024-06-23 16:58:48 发布

阅读量2.4k

点赞数 2

分类专栏：漫步最优化文章标签： powell算法共轭方向

漫步最优化专栏收录该内容

44 篇文章 50 订阅

订阅专栏

平凡无所谓， $\textbf{平凡无所谓，}$

平淡无所谓， $\textbf{平淡无所谓，}$

但求每天早晨能望见你， $\textbf{但求每天早晨能望见你，}$

这已经足够满足。 $\textbf{这已经足够满足。}$

身边的一切如风， $\textbf{身边的一切如风，}$

而你让我有了根， $\textbf{而你让我有了根，}$

就让我爱你多些， $\textbf{就让我爱你多些，}$

再多些，甚至满泻， $\textbf{再多些，甚至满泻，}$

与你一生一世。 $\textbf{与你一生一世。}$

——畅宝宝的傻逼哥哥 $\textbf{——畅宝宝的傻逼哥哥}$

过去使用最广泛的共轭方向法是由Powell提出来的，这个方法与共轭梯度法一样，开始也是来自凸二次问题，但是它也成功应用于非二次问题。

Powell法最显著的特征就是通过一系列线搜索生成共轭方向，所用的技术基于下面的定理：

$\textbf{定理1：}$ 如果凸二次问题

f (x) = a + x T b + 1 2 x T H x

$f(\mathbf{x})=a+\mathbf{x}^T\mathbf{b}+\frac{1}{2}\mathbf{x}^T\mathbf{Hx}$

在直线

x = x a + α d a

$\mathbf{x}=\mathbf{x}_a+\alpha\mathbf{d}_a$

与

x = x b + α d b

$\mathbf{x}=\mathbf{x}_b+\alpha\mathbf{d}_b$

上分别对 $\alpha$ 最小化，得到的最小点分别为 $\mathbf{x}_a^*,\mathbf{x}_b^*$ ，如图1所示。

如果 $\mathbf{d}_b=\mathbf{d}_a$ ，那么向量 $\mathbf{x}_b^*-\mathbf{x}_a^*$ 与 $\mathbf{d}_a$ (或者 $\mathbf{d}_b$ )共轭。

$\textbf{证明：}$ 如果 $f(\mathbf{x}_a+\alpha\mathbf{d}_a),f(\mathbf{x}_b+\alpha\mathbf{d}_b)$ 对 $\alpha$ 最小化，那么

d f ( x a + α d a ) d α = d T a g (x * a) = 0 d f ( x b + α d b ) d α = d T b g (x * b) = 0 (1a) (1b)

$\begin{align} \frac{df(\mathbf{x}_a+\alpha\mathbf{d}_a)}{d\alpha}=\mathbf{d}_a^T\mathbf{g}(\mathbf{x}_a^*)=0\tag{1a}\\ \frac{df(\mathbf{x}_b+\alpha\mathbf{d}_b)}{d\alpha}=\mathbf{d}_b^T\mathbf{g}(\mathbf{x}_b^*)=0\tag{1b} \end{align}$

因为

g (x * a) = b + H x * a g (x * b) = b + H x * b (2a) (2b)

$\begin{align} \mathbf{g}(\mathbf{x}_a^*)=\mathbf{b}+\mathbf{Hx}_a^*\tag{2a}\\ \mathbf{g}(\mathbf{x}_b^*)=\mathbf{b}+\mathbf{Hx}_b^*\tag{2b} \end{align}$

因为 $\mathbf{d}_b=\mathbf{d}_a$ ，所以由等式1与2可得

d T a H (x * b - x * a) = 0

$\mathbf{d}_a^T\mathbf{H}(\mathbf{x}_b^*-\mathbf{x}_a^*)=0$

因此，向量 $\mathbf{x}_b^*-\mathbf{x}_a^*$ 与方向 $\mathbf{d}_a$ (或者 $\mathbf{d}_b$ )共轭，证毕。 $||$

在Powell算法中，假设初始点为 $\mathbf{x}_{00}$ ， $n$ 个线性无关方向为 $\mathbf{d}_{01},\mathbf{d}_{02},\ldots,\mathbf{d}_{0n}$ ，并且每次迭代执行一系列线搜索。虽然可以使用任意的线性无关方向集合，但是出于方便，我们使用坐标方向集。

图1

第一次迭代的时候，

f(x) $f(\mathbf{x})$ 从初始点

x00 $\mathbf{x}_{00}$ 开始，在方向

d01,d02,…,d0n $\mathbf{d}_{01},\mathbf{d}_{02},\ldots,\mathbf{d}_{0n}$ 上最小化分别得到点

x01,x02,…,x0n $\mathbf{x}_{01},\mathbf{x}_{02},\ldots,\mathbf{x}_{0n}$ ，如图2所示，新的方向

d0(n+1) $\mathbf{d}_{0(n+1)}$ 为

d 0 (n + 1) = x 0 n - x 0

$\mathbf{d}_{0(n+1)}=\mathbf{x}_{0n}-\mathbf{x}_0$

且 $f(\mathbf{x})$ 在这个方向上最小化得到新的点 $\mathbf{x}_{0(n+1)}$ ，然后更新方向集为

d 11 d 12 d 1 (n - 1) d 1 n = d 02 = d 03 ⋮ = d 0 n = d 0 (n + 1) (3)

$\begin{align} \mathbf{d}_{11}&=\mathbf{d}_{02}\notag\\ \mathbf{d}_{12}&=\mathbf{d}_{03}\notag\\ &\vdots\notag\\ \mathbf{d}_{1(n-1)}&=\mathbf{d}_{0n}\notag\\ \mathbf{d}_{1n}&=\mathbf{d}_{0(n+1)}\tag3 \end{align}$

第一次迭代的效果就是 $f(\mathbf{x})$ 减少了 $\Delta f=f(\mathbf{x}_{00})-f(\mathbf{x}_{0(n+1)})$ 并且同时删除了 $\mathbf{d}_{01}$ 加入了 $\mathbf{d}_{0(n+1)}$ 。

第二次得带执行同样的过程，从点

x 10 = x 0 (n + 1)

$\mathbf{x}_{10}=\mathbf{x}_{0(n+1)}$

开始， $f(\mathbf{x})$ 在方向 $\mathbf{d}_{11},\mathbf{d}_{12},\ldots,\mathbf{d}_{1n}$ 上最小化分别得到点 $\mathbf{x}_{11},\mathbf{x}_{12},\ldots,\mathbf{x}_{1n}$ ，如图3所示，然后生成新的方向 $\mathbf{d}_{1(n+1)}$

d 1 (n + 1) = x 1 n - x 10

$\mathbf{d}_{1(n+1)}=\mathbf{x}_{1n}-\mathbf{x}_{10}$

$f(\mathbf{x})$ 在方向 $\mathbf{d_{1(n+1)}}$ 上最小化得到点 $\mathbf{x}_{1(n+1)}$ 。因为

d 1 n = d 0 (n + 1)

$\mathbf{d}_{1n}=\mathbf{d}_{0(n+1)}$

所以 $\mathbf{d}_{1(n+1)}$ 与 $\mathbf{d}_n$ 共轭，因此我们令

d 21 d 22 d 2 (n - 1) d 2 n = d 12 = d 13 ⋮ = d 1 n = d 1 (n + 1) (4)

$\begin{align} \mathbf{d}_{21}&=\mathbf{d}_{12}\notag\\ \mathbf{d}_{22}&=\mathbf{d}_{13}\notag\\ &\vdots\notag\\ \mathbf{d}_{2(n-1)}&=\mathbf{d}_{1n}\notag\\ \mathbf{d}_{2n}&=\mathbf{d}_{1(n+1)}\tag4 \end{align}$

新的方向解将包含一对共轭方向，即 $\mathbf{d}_{2(n-1)},\mathbf{d}_{2n}$ 。

用同样的方式执行上面的过程，每次迭代都会增加一个共轭方向。Powell法需要 $n(n+1)$ 次线搜索，因为每次迭代包含 $(n+1)$ 次线搜索，共需要 $n$ 次迭代，Powell算法实现如下：

算 法 1 ： 共 轭 梯 度 算 法 步 骤 1 输 入 x 00 并 初 始 化 容 忍 误 差 ε 令 d 01 = [x 01 0 \dots 0] T d 02 = [0 x 02 \dots 0] T ⋮ d 0 n = [00 \dots x 0 n] T 令 k = 0 步 骤 2 对 于 i = 1 从 n 求 出 α k i, 就 是 最 小 化 f (x k (i - 1) + α d k i) 的 值 α 令 x k i = x k (i - 1) + α k i d k i 步 骤 3 生 成 新 方 向 d k (n + 1) = x k n - x k 0 求 出 α k (n + 1), 就 是 最 小 化 f (x 0 + α d k (n + 1)) 的 值 α 令 x k (n + 1) = x k 0 + α k (n + 1) d k (n + 1) 计 算 f k (n + 1) = f (x k (n + 1)) 步 骤 4 如 果 ∥ α k (n + 1) d k (n + 1) ∥ < ε, 输 出 x * = x k (n + 1), f (x *) = f k (n + 1) 算 法 结 束 步 骤 5 更 新 方 向 d (k + 1) 1 = d k 2 d (k + 1) 2 = d k 3 ⋮ d (k + 1) n = d k (n + 1) 令 x (k + 1) 0 = x k (n + 1), k = k + 1, 令 k = k + 1 然 后 回 到 步 骤 2

$\begin{align*} &\textbf{算法1：共轭梯度算法}\\ &\textbf{步骤1}\\ &\text{输入}\mathbf{x}_{00}\text{并初始化容忍误差}\varepsilon\\ &\text{令}\\ &\mathbf{d}_{01}=[x_{01}\ 0\ \cdots\ 0]^T\\ &\mathbf{d}_{02}=[0\ x_{02}\ \cdots\ 0]^T\\ &\vdots\\ &\mathbf{d}_{0n}=[0\ 0\ \cdots\ x_{0n}]^T\\ &\text{令}k=0\\ &\textbf{步骤2}\\ &\text{对于}i=1\text{从}n\\ &\quad\text{求出}\alpha_{ki},\text{就是最小化}f(\mathbf{x}_{k(i-1)}+\alpha\mathbf{d}_{ki})\text{的值}\alpha\\ &\quad\text{令}\mathbf{x}_{ki}=\mathbf{x}_{k(i-1)}+\alpha_{ki}\mathbf{d}_{ki}\\ &\textbf{步骤3}\\ &\text{生成新方向}\mathbf{d}_{k(n+1)}=\mathbf{x}_{kn}-\mathbf{x}_{k0}\\ &\text{求出}\alpha_{k(n+1)},\text{就是最小化}f(\mathbf{x}_0+\alpha\mathbf{d}_{k(n+1)})\text{的值}\alpha\\ &\text{令}\mathbf{x}_{k(n+1)}=\mathbf{x}_{k0}+\alpha_{k(n+1)}\mathbf{d}_{k(n+1)}\\ &\text{计算}f_{k(n+1)}=f(\mathbf{x}_{k(n+1)})\\ &\textbf{步骤4}\\ &\text{如果}\lVert\alpha_{k(n+1)}\mathbf{d}_{k(n+1)}\rVert<\varepsilon,\text{输出}\mathbf{x}^*=\mathbf{x}_{k(n+1)},f(\mathbf{x}^*)=f_{k(n+1)}\text{算法结束}\\ &\textbf{步骤5}\\ &\text{更新方向}\\ &\mathbf{d}_{(k+1)1}=\mathbf{d}_{k2}\\ &\mathbf{d}_{(k+1)2}=\mathbf{d}_{k3}\\ &\vdots\\ &\mathbf{d}_{(k+1)n}=\mathbf{d}_{k(n+1)}\\ &\text{令}\mathbf{x}_{(k+1)0}=\mathbf{x}_{k(n+1)},k=k+1,\text{令}k=k+1\text{然后回到步骤2} \end{align*}$