漫步最优化三十——非精确线搜索

$\textbf{说明：今天10.24，祝程序员们节日快乐，呜啦啦啦}$

$\textbf{爱上一个人后，}$
$\textbf{发现自己变得主动了，}$
$\textbf{感觉什么都值得去做。}$
$\textbf{我想大声宣布，}$
$\textbf{我对你依依不舍，}$
$\textbf{我想牵着你的手不放开，}$
$\textbf{我想简简单单爱。}$
$\textbf{我的肩膀任你依靠，}$
$\textbf{我的胸口任你锤锤，}$
$\textbf{永远单纯没有悲哀，}$
$\textbf{像这样一直走下去。}$
$\textbf{——畅宝宝的傻逼哥哥}$

在多维算法中，大部分计算量都用在执行线搜索时函数与梯度的运算上，因此所需要的运算量主要依赖于所用线搜索的效率与精度。如果需要高精度的线搜索，那么计算量就比较大。如果非精确线搜索不影响算法的收敛，那么我们可能减少计算量。

实际发现许多优化算法可以容忍不精确的线搜索，正由于此，对于这些方法我们使用非精确线搜索。

假设

$$\mathbf{x}_{k+1}=\mathbf{x}_k+\alpha\mathbf{d}_k$$

其中$\mathbf{d}_k$是给定的方向向量且$\alpha$是无关的搜索参数，存在某个正值$\alpha$，使得函数$f(\mathbf{x}_{k+1})$有唯一的极小值，泰勒级数的线形近似为

$$f(\mathbf{x}_{k+1})=f(\mathbf{x}_k)+\mathbf{g}_k^T\mathbf{d}_k\alpha$$

其中

$$\mathbf{g}_k^T\mathbf{d}_k=\frac{df(\mathbf{x}_k+\alpha\mathbf{d}_k)}{d\alpha}|_{\alpha=0}$$

上面等式表示图1中的直线$A$，等式

$$f(\mathbf{x}_{k+1})=f(\mathbf{x}_k)+\rho\mathbf{g}_k^T\mathbf{d}_k\alpha$$

表示直线$B$，其中$0\leq\rho\leq\frac{1}{2}$，其斜率从0到$\frac{1}{2}\mathbf{g}_k^T\mathbf{d}_k$，依赖于$\rho$的值。另外等式

$$f(\mathbf{x}_{k+1})=f(\mathbf{x}_k)+(1-\rho)\mathbf{g}_k^T\mathbf{d}_k\alpha$$

表示直线$C$，其斜率从$\mathbf{g}_k^T\mathbf{d}_k$到$\frac{1}{2}\mathbf{g}_k^T\mathbf{d}_k$，$C,B$之间的夹角$\theta$为

$$\theta=\tan^{-1}\left[\frac{-(1-2\rho)\mathbf{g}_k^T\mathbf{d}_k}{1+\rho(1-\rho)(\mathbf{g}_k^T\mathbf{d}_k)^2}\right]$$

如图2所示。显然当$\rho$从0到$\frac{1}{2}$时，$\theta$从$-\mathbf{g}_k^T\mathbf{d}_k$到0，当固定$\rho$为范围内的某个值时，两条直线与曲线$f(\mathbf{x}_{k+1})$相交可以得出两个$\alpha$值，$\alpha_1,\alpha_2$，如图2所示。

图1

令 $\alpha_0$是最小化 $f(\mathbf{x}_k+\alpha\mathbf{d}_k)$得到的 $\alpha$估计值，对于 $\alpha=\alpha_0$，如果 $f(\mathbf{x}_{k+1})$等于或小于直线 $B$相应的$f(\mathbf{x}_{k+1})$值，并且等于或大于直线 $C$相应的$f(\mathbf{x}_{k+1})$值，即
$$\begin{align*} f(\mathbf{x}_{k+1})\leq f(\mathbf{x}_k)+\rho\mathbf{g}_k^T\mathbf{d}_k\alpha_0\\ f(\mathbf{x}_{k+1})\geq f(\mathbf{x}_k)+(1-\rho)\mathbf{g}_k^T\mathbf{d}_k\alpha_0\\ \end{align*}$$

那么我们可以判定$\alpha_0$为$\alpha^*$的一个估计值，这时候$\alpha_1\leq\alpha_0\leq\alpha_2$，如图2所示，$\alpha_1,\alpha_2$组成了包含最小值$\alpha_0$的区间，上面的两个不等式称为Goldstein条件，他们是非精确线搜索的基础。该方法基于可利用的信息生成估计值$\alpha_0$，并检查Goldstein条件，如果都满足，那么接受$f(\mathbf{x}_{k+1})$的减少并终止该过程。另一方面，如果任何一个条件不满足，那么$f(\mathbf{x}_{k+1})$的减少是不充分的，我们需要进一步改善$\alpha^*$的估计值，用$\check{\alpha}_0$表示。假设第一个不等式不满足，那么$\alpha_0>\alpha_2$如图3所示，因为$\alpha_L<\alpha^*<\alpha_0$，所以新的$\check{\alpha}_0$可以用内插来确定。另一方面，如果第二个不等式不满足，那么$\alpha_0<\alpha_1$如图4所示，因为$\alpha_0$在$\alpha_L<\alpha_0<\alpha^*$之间，所以$\check{\alpha_0}$可以用外插来确定。

如果$f(\mathbf{x}_k+\alpha\mathbf{d}_k)$在$\alpha=\alpha_L,\alpha=\alpha_0$处的函数值以及导数值均已知的话，那么对于$\alpha_0>\alpha_2$，$\check{\alpha_0}$的一个好估计用内插公式

$$\check{\alpha}_0=\alpha_L+\frac{(\alpha_0-\alpha_L)^2f_L^\prime}{2[f_L-f_0+(\alpha_0-\alpha_L)f_L^\prime]}$$

得出，对于$\alpha_0>\alpha_2$用外插公式

$$\check{\alpha_0}=\alpha_0+\frac{(\alpha_0-\alpha_L)f_0^\prime}{(f_L^\prime-f_0^\prime)}$$

确定，其中

$$\begin{align*} f_L&=f(\mathbf{x}_k+\alpha_L\mathbf{d}_k),f_L^\prime=f^\prime(\mathbf{x}_k+\alpha_L\mathbf{d}_k)=\mathbf{g}(\mathbf{x}_k+\alpha_L\mathbf{d}_k)^T\mathbf{d}_k\\ f_0&=f(\mathbf{x}_k+\alpha_0\mathbf{d}_k),f_0^\prime=f^\prime(\mathbf{x}_k+\alpha_0\mathbf{d}_k)=\mathbf{g}(\mathbf{x}_k+\alpha_0\mathbf{d}_k)^T\mathbf{d}_k \end{align*}$$

图2

重复上面的过程直到产生的 $\check{\alpha}_0$满足 $\alpha_1<\check{\alpha}_0<\alpha_2$，那么终止非精确线搜索。


图3



图4