数值最优化—无约束问题的下降算法与线性搜索

一、参考

《数值最优化算法与理论》

二、无约束问题解的最优性条件

设$f:R^2\to R$连续可微。考虑如下无约束最优化问题：
$$minf(x),(x\in R^n)$$

1. 下降方向

设$x,d\in R^n$。若存在数$\overline{\alpha }>0$, 使得：
$$f(x+\alpha d)<f(x),(\forall \alpha \in (0,\overline{\alpha }))$$
则称d是函数$f$在点$x$处的一个下降方向。

下降方向从几何上可解释为：当从点$x$出发，沿方向$d$移动时，函数$f$的值变化呈单调递减的趋势。若令：
$$\varphi (\alpha )=f(x+\alpha d)$$
则方向$d$是$f$在$x$处的下降方向等价于一元函数$\varphi$ 在原点处单调递减。

定理：设$f$连续可微且$\nabla f(x)\ne 0$ , 若向量$d$满足$\nabla f(x{)}^{T}d<0$, 则它是$f$在$x$处的一个下降方向。

证： 利用Tayor展开，不难得到：当$\alpha >0$充分小时：
$$f(x+\alpha d)=f(x)+\alpha \nabla f(x{)}^{T}d+o(\alpha )<f(x)$$
即 $d$ 是 $f$ 在 $x$ 处的一个下降方向。

2. 无约束问题解的一阶必要条件

设$f:R^n\to R$ 连续可微，$x^{\ast }$是无约束问题的一个局部最优解，则$x^{\ast }$满足：
$$\nabla f(x^{\ast })=0$$
证明：任给$p\in R^n$, 由局部最优解的定义，对任意充分小的数$t>0$，有：
$$f(x^{\ast })\le f(x^{\ast }+tp)=f(x^{\ast })+t\nabla f(x^{\ast }{)}^{T}p+o(t)$$
不等式两端同时减去$f(x^{\ast })$后除$t$，得：
$$0\le \nabla f(x^{\ast }{)}^{T}p+\frac{o(t)}{t}$$
并令$t\to 0^{+}$ 可得$\nabla f(x^{\ast }{)}^{T}p\ge 0,\forall p\in R^n$。特别令$p=-\nabla f(x^{\ast })$得：
$$-||\nabla f(x^{\ast })|{|}^2=-\nabla f(x^{\ast }{)}^T\nabla f(x^{\ast })\ge 0$$

注：这里用到的向量范数为Euclid范数，即对$a\in R^n,||a||=(a^{T}a{)}^{1/2}$ 。

从而，$\nabla f(x^{\ast })=0$ 。

3. 无约束问题解的二阶必要条件

设$f:R^n\to R$二次连续可微，$x^{\ast }$是无约束问题的一个局部最优解，则$x^{\ast }$满足：
$$\{\begin{array}{l}\nabla f(x^{\ast })=0\\ \\ {\nabla }^{2}f(x^{\ast })半正定\end{array}$$

4. 无约束问题解的二阶充分条件

设$f:R^n\to R$二次连续可微，若$x^{\ast }$满足：
$$\{\begin{array}{l}\nabla f(x^{\ast })=0\\ \\ {\nabla }^{2}f(x^{\ast })正定\end{array}$$
则$x^{\ast }$是无约束问题的一个严格局部最优解。

三、下降算法的一般步骤

1.求解无约束问题的下降算法的基本思想

从某个初始点$x^{(0)}$出发，按照使目标函数值下降的原则构造点列 { x ( k ) } \{x^{(k)}\} {x(k)}, 即点列 { x ( k ) } \{x^{(k)}\} {x(k)}满足条件$f(x^{(k+1)})<f(x^{(k)}),(\forall k=0,1,\cdot \cdot \cdot )$ 。算法的最终目标是使得点列 { x ( k ) } \{x^{(k)}\} {x(k)}中的某个点或某个极限点是无约束最优化问题的解或稳定点。

设$d^{(k)}$是$f$在$x^{(k)}$处的一个下降方向且满足：
$$\nabla f(x^{(k)}{)}^T{d}^{(k)}<0$$
从而，当$\alpha >0$充分小时，$f(x^{(k)}+\alpha d^{(k)})<f(x^{(k)})$。因此，可取$x^{(k+1)}=x^{(k)}+{\alpha }_k{d}^{(k)}$, 其中，$\alpha >0$使得$f(x^{(k)}+{\alpha }_k{d}^{(k)})<f(x^{(k)})$。在此基础上，我们给出求解无约束问题下降算法的步骤如下。

2. 求解无约束问题的下降算法的步骤

1. 给定初始点$x^{(0)}\in R^n$，精度$ϵ>0$。令$k=0$。
2. 若$||\nabla f(x^{(k)}||<ϵ$，则终止算法，得解$x^{(k)}$。否则，则转3.
3. 确定下降方向$d^{(k)}$，使得：
   $$\nabla f(x^{(k)}{)}^T{d}^{(k)}<0$$
4. 确定步长${\alpha }_k>0$，使得：
   $$f(x^{(k)}+{\alpha }_k{d}^{(k)})<f(x^{(k)})$$
5. 令$x^{(k+1)}=x^{(k)}+{\alpha }_k{d}^{(k)},k=k+1$。转2.

四、线性搜索

线性搜索有两种：精确线性搜索 和 非精确线性搜索。

1. 精确线性搜索—黄金分割法（0.618法）

对于一般非线性函数极小化问题，难以得到精确线性搜索步长的解析表达式。此时可采用数值方法确定步长。

黄金分割法是确定精确线性搜素步长的一种算法。该算法适用于求一元单峰函数的极小值点问题。

黄金分割法的基本思想是构造闭区间序列 { [ a k , b k ] } \{[ a_k, b_k]\} {[ak​,bk​]}，满足$\bar{\alpha }\in [a_{k+1},b_{k+1}]\subset [a_k,b_k]$，且区间的长度$b_k-a_k$ 按比例缩小，即$b_{k+1}-a_{k+1}=\lambda (b_k-a_k),\lambda \in (0,1)$。从而，$b_k-a_k\to 0$。由此可得$a_k\to \bar{\alpha },b_k\to \bar{\alpha }$。该算法的实现过程如下：

在区间$[a_k,b_k]$上对称取两点$u_k<v_k$，即有：
$$\frac{v_k-a_k}{b_k-a_k}=\frac{b_k-u_k}{b_k-a_k}=\lambda$$
或等价地
$$u_k=b_k-\lambda (b_k-a_k),v_k=a_k+\lambda (b_k-a_k)$$
比较函数值$\varphi (u_k)$与$\varphi (v_k)$的大小，有下列三种情况：

1. $\varphi (u_k)<\varphi (v_k)$。此时必有$\bar{\alpha }\in [a_k,v_k]$。故令$[a_{k+1},b_{k+1}]=[a_k,v_k]。$
2. $\varphi (u_k)>\varphi (v_k)$。此时必有$\bar{\alpha }\in [u_k,b_k]$。故令$[a_{k+1},b_{k+1}]=[u_k,b_k]。$
3. $\varphi (u_k)=\varphi (v_k)$。此时必有$\bar{\alpha }\in [u_k,v_k]$。故令$[a_{k+1},b_{k+1}]=[u_k,v_k]。$

2. 非精确线性搜索

精确线性搜索要求步长${\alpha }_k$取到一元函数$\varphi (\alpha )=f(x^{(k)}+\alpha d^{(k)})$的最小值点。计算量较大。非精确线性搜索只要求步长${\alpha }_k$使得函数$\varphi$在点${\alpha }_k$处的值$\varphi ({\alpha }_k)$ (即$f(x^{(k)}+{\alpha }_k{d}^{(k)})$)较$\varphi (0)$(即$f(x^{(k)})$)有一定量的下降量。因此在计算容易实现。下面介绍一种常用的非精确线性搜索。

Armijo型线性搜索：给定${\sigma }_1\in (0,1/2)$，取${\alpha }_k>0$使得：
$$f(x^{(k)}+{\alpha }_k{d}^{(k)})\le f(x^{(k)})+{\sigma }_1{\alpha }_k\nabla f(x^{(k)}{)}^T{d}^{(k)}$$
利用函数$\varphi (\alpha )=f(x^{(k)}+\alpha d^{(k)})$，上式可等价地写为：
$$\varphi ({\alpha }_k)\le \varphi (0)+{\sigma }_1{\alpha }_k{\varphi }^{\prime }(0)$$
由于$d^{(k)}$是$f$在$x^{(k)}$处的下降方向且满足${\varphi }^{\prime }(0)=\nabla f(x^{(k)}{)}^T{d}^{(k)}<0$，容易证明：上面的不等式对充分小的正数${\alpha }_k$均成立。而在计算上，希望步长${\alpha }_k$尽可能大。通常，可通过如下方式获得。给定$\beta >0,\rho \in (0,1)$。取步长${\alpha }_k$为集合 { β ρ i , i = 0 , 1 , ⋅ ⋅ ⋅ } \{ \beta \rho ^i , i = 0, 1, ··· \} {βρi,i=0,1,⋅⋅⋅}中使得上面的不等式成立的最大者。该算法实现过程如下：

0. 若${\alpha }_k=1$满足上面的不等式，则取${\alpha }_k=1$。否则转下一步。
1. 给定常数$\beta >0,\rho \in (0,1)$。令${\alpha }_k=\beta$。
2. 若${\alpha }_k=1$满足上面的不等式，则终止计算，得步长${\alpha }_k$。否则，转步3。
3. 令${\alpha }_k=\rho {\alpha }_k$。转步2。