最优化建模算法理论之Goldstein准则（数学原理及MATLAB实现）

---

一、前言

为了克服 Armijo 准则的缺陷，我们需要引入其他准则来保证每一步的 ${\alpha }^k$ 不会太小。

既然 Armijo 准则只要求点 $(\alpha ,\varphi (\alpha ))$ 必须处在某直线下方，我们也可使用相同的形式使得该点必须处在另一条直线的上方。

这就是 Armijo-Goldstein 准则，简称 Goldstein 准则。

---

二、Goldstein准则

1. 定义

设 $d^k$ 是点 $x^k$ 处的下降方向，若

$$\begin{array}{rl}& f(x^k+\alpha d^k)\le f(x^k)+c\alpha \nabla f(x^k{)}^T{d}^k,\\ & f(x^k+\alpha d^k)\ge f(x^k)+(1-c)\alpha \nabla f(x^k{)}^T{d}^k\end{array}$$

则称步长 $\alpha$ 满足 Goldstein 准则，其中 $c\in (0,\frac{1}{2})$。

2. 几何含义

与 Armjio 准则相类似，Goldstein 准则也有非常直观的几何含义，它指的是点 $(\alpha ,\varphi (\alpha ))$ 必须在两条直线

$$\begin{array}{rl}& l_1(\alpha )=\varphi (0)+c\alpha \nabla f(x^k{)}^T{d}^k,\\ & l_2(\alpha )=\varphi (0)+(1-c)\alpha \nabla f(x^k{)}^T{d}^k\end{array}$$

之间。如下图所示：

区间 $[{\alpha }_1,{\alpha }_2]$ 中的点均满足 Goldstein 准则，同时我们也注意到 Goldstein 准则确实去掉了过小的 $\alpha$。

---

三、代码实现

MATLAB 代码如下：

function [alpha, xk, f, k] = Goldstein(fun, grid, x0, dk)
	%
	% Function [alpha, xk, fx, k] = Goldstein(fun, grid, x0, dk)
	% 求出函数fun在x0处以dk为下降方向时的步长alpha，同时返回相对应的下
	% 一个下降点xk以及xk处的函数值fx，k为迭代次数
	% -----------------------------------------------------------
	% 输入: 
	% 	fun 	函数名称(字符变量）
	%	grid 	梯度函数名称(字符变量)
	%	x0		迭代点(列向量)
	%	dk		函数在迭代点处的下降方向(列向量)
	%
	% 输出:
	%	alpha	函数在x0处以dk为下降方向时的下降步长
	%	xk		函数在x0处以dk为下降方向，以alpha为步长
	%			求得的下降点
	%	f	    函数在下降点xk处的函数值
	%	k		求步长算法迭代次数
	% -----------------------------------------------------------
	% by Zhi Qiangfeng 
	%
	c = 0.3; 	% 泰勒展开式补足系数，0 < c < 1/2
	alpha = 1; 	% 初始步长为 1
	k = 0; 		% 统计迭代次数
    a = 0; b = inf; % 二分法确定 alpha 值
	gk = feval(grid, x0);	% x0处的梯度值
	fk = feval(fun, x0 + alpha * dk); 	% 函数在下一个迭代点处的目标函数值
	l1 = feval(fun, x0) + c * alpha * gk' * dk; 	% Armjio准则
    l2 = feval(fun, x0) + (1 - c) * alpha * gk' * dk; 	% Armjio准则的补全
	while true
	    if fk > l1
            k = k + 1;
            b = alpha;
            alpha = (a + b) / 2;
            fk = feval(fun, x0 + alpha * dk);
            l1 = feval(fun, x0) + c * alpha * gk' * dk;
            l2 = feval(fun, x0) + (1 - c) * alpha * gk' * dk;
            continue;
        end
        if fk < l2
            k = k + 1;
            a = alpha;
            alpha = min([2 * alpha, (a + b) / 2]);
            fk = feval(fun, x0 + alpha * dk);
            l1 = feval(fun, x0) + c * alpha * gk' * dk;
            l2 = feval(fun, x0) + (1 - c) * alpha * gk' * dk;
            continue;
        end
        break;
	end
	xk = x0 + alpha * dk;	% 下降点
	f = feval(fun, xk);	    % 下降点处函数值
end

---

四、与Armjio准则的对比

以求解 Rosenbrock 函数为例，这是优化领域中一个著名的检验函数，函数表达式如下：

$$\begin{array}{rl}& f(x)=100(x_2-x_1^2{)}^2+(1-x_1{)}^2,\\ & g(x)=\left[\begin{array}{r}-400x_1{x}_2+400x_1^3+2x_1-2;\\ 200x_2-200x_1^2\end{array}\right]\end{array}$$

编写函数文件 fun.m 如下：

function f = fun(x)
f = 100 * (x(2) - x(1)^2)^2 + (1 - x(1))^2;
end

随后是梯度函数文件 grid.m 如下：

function g = grid(x)
g = [-400 * x(1) * x(2) + 400 * x(1)^3 + 2 * x(1) - 2;
    200 * x(2) - 200 * x(1)^2];
end

Armjio 准则代码参考此篇博客：最优化建模算法理论之Armjio准则（数学原理及MATLAB实现）

求解方法采用 BFGS 拟牛顿方法，代码参考此篇博客：最优化建模算法理论之BFGS/DFP拟牛顿方法（数学原理及MATLAB实现）

编写求解代码如下：

x0 = [-10; 10];
[f, xk, k] = BFGS(x0, 'fun', 'grid', 1e-5, 1000)

初始点选为 [-10, 10]，若采用 Armjio 准则求步长，输出如下：

>> resolve
f =
   8.7712e-17
xk =
    1.0000
    1.0000
k =
    70
>> 

迭代了 70 次，若采用 Goldstein 准则，输出如下：

>> resolve
f =
   8.3501e-20
xk =
    1.0000
    1.0000
k =
    60
>> 

迭代了 60 次即达到了精度要求，并且求解的函数值 f = 8.3501e-20 还要优于 Armjio 准则。

---

五、总结

不喜欢写总结。