梯度优化_无约束优化的修正非单调记忆梯度法

摘 要：针对无约束优化问题提出了一种修正的非单调记忆梯度法,该修正的非单调技术利用前若干个点的凸组合得到一个参照量,然后将试探点的函数值与该参照量进行灵活比较,从而决定该试探点是否被接受.该算法是现有非单调方法的一个推广,在合理的假设条件下,得到了算法的全局收敛性.数值实验结果表明,该算法是有效且易于实现的.

关键词：无约束优化； 记忆梯度法；全局收敛；非单调

考虑无约束优化问题minf(x),x∈Rn,(1),其中f∶Rn→R为连续可微函数，Rn为一个欧氏空间.

共轭梯度法和记忆梯度法是求解大规模无约束优化问题的2种有效方法,和牛顿型方法相比,它们避免了大规模的矩阵计算,因此受到了广泛关注.Fletcher[1]、 Polyak[2]、 Gilbert[3]和Dai[4]等提出了不同的共轭梯度公式来计算当前点的搜索方向dk,并研究了共轭梯度法的全局收敛性.Miele等[5]和Cragg等[6]提出了没有统一公式的记忆梯度法.记忆梯度法的优点是在每次迭代中充分利用了以往的多步迭代信息,增加了某些参数的自由度来保证快速收敛性、 鲁棒性及其全局收敛性[3,7-14].

在现有的记忆梯度的线搜索方法中,常用的为单调型线搜索,即要求目标函数值单调下降,因此会遇到迭代点落入峡谷无法跳出的情况,从而造成算法收敛过慢,甚至不会收敛.于是,Chamberlain等[15]在1982年提出了一种求解约束优化问题的watchdog技术,其中为了克服Marotos效应,放松了一些标准的线搜索条件.受此启发,Grippo等[16]提出了一种非单调Armijo型线搜索技术的牛顿法,有效地避免了上述缺陷,从而也出现了非单调型的记忆梯度法.现有的非单调型算法，如Armijo非单调型、Goldstein非单调型、Wolf非单调型等都是将当前点的函数值和前若干个点的函数值的最大者进行比较,若有改进,就接受其为新的迭代点.Yu[17]提出了一类非单调方法,是将试探点的函数值与当前点函数值和前若干个点函数值的凸组合的最大值做比较,这样充分利用了函数值的信息.

本文受上述思想启发,进一步松弛判别条件,引入一个新的参量构造一个新的判别条件来决定试探点是否被接受为新的迭代点.首先计算前m(k)个点的凸组合,对每个k,令m(k)满足m(0)=0,0≤m(k)≤min[m(k-1)+1,M] ,其中M≥1.其次,将该凸组合值与当前点的目标函数值取最大,记为Tk.试探点被接受的充要条件为试探点的目标函数值要优于f(xk)与 Tk的凸组合的值,这就使得更多的函数信息被利用.根据不同的凸组合系数的选取,得到目前使用的不同的非单调策略.所以本文的方法充分利用了函数值的信息,是现有非单调记忆梯度法的一个推广.

1 修正的非单调记忆梯度法

在单调型方法中,在当前迭代点xk处沿搜索方向dk的步长αk需满足 f(xk+αkdk)≤f(xk)+αkρ〈dk,g(xk)〉,搜索方向dk满足〈dk,g(xk)〉≤0,其中g(xk)=f(xk),ρ=0.1.

针对如上的搜索方向 dk,在非单调型方法中,要求αk为数列 { αk,αkβ,αkβ2,…}第1个满足的值,其中γ∈(0,1),βp∈(0,1] ,p∈{0,1,2,…}.

Yu[17]提出的非单调型方法,要求步长 αk满足

(2)

其中为正整数,定义 m(k)=min[k+1,M].

在非单调型方法中,迭代点远离最优解时,αk是非单调的,如果迭代点接近最优解,αk是单调的.本文给出一个改进的非单调线搜索,具体形式如下:

令αk=βp,其中 0<βp<1有上界且满足

f(xk+αkdk)≤μf(xk)+(1-μ)Tk+γαk〈dk,g(xk)〉,(3)

其中并且