组合优化问题的尺度邻近点算法研究

参考文献

赵晓智. 组合优化问题的尺度邻近点算法研究[D].中国民航大学,2020.DOI:10.27627/d.cnki.gzmhy.2020.000564.

预备知识

  非光滑凸函数的组合优化问题可以表示为：
$$\underset{x\in H}{\mathrm{argmin}}\Phi (x):=\underset{x\in H}{\mathrm{argmin}}[f(x)+g(x)]$$其中$H$为Hilbert空间，$f$，$g$是Hilbert空间$H$上的真下半连续凸函数，$f$可微且具有连续的Lipschitz梯度。
  Lipschitz梯度连续表示：
$\Vert \nabla f(x)-\nabla f(y)\Vert \le L\Vert x-y\Vert ,\forall x,y\in H$

1.邻近梯度算法
$$x_{n+1}=pro{x}_{\gamma g}(I-\gamma \nabla f)(x_n),\forall n\ge 0$$其中步长$\gamma$满足$0<\gamma <2/L$，$pro{x}_{\gamma g}$表示$\gamma g$的邻近算子，邻近算子的定义为：
$$pro{x}_g(x)=\underset{y\in H}{\mathrm{argmin}}g(y)+1/2\Vert y-x{\Vert }^2,x\in H$$$$pro{x}_{\gamma g}(x)=\underset{y\in H}{\mathrm{argmin}}g(y)+\frac{1}{2\gamma }\Vert y-x{\Vert }^2,x\in H$$  若原问题的解集非空，则该方法生成的迭代序列若收敛于原问题的解(证明见参考文献中[16]定理25.8)；文献[17]提出变步长邻近梯度算法
$$x_{n+1}=pro{x}_{{\gamma }_{n}g}(I-{\gamma }_n\nabla f)(x_n),$$生成的序列也弱收敛于原问题的解。
  带扰动的邻近尺度梯度算法[23]：
$$x_{n+1}=pro{x}_{{\lambda }_{n}g}(I-{\lambda }_{n}D\nabla f+e)(x_n),$$  压缩算子和邻近梯度算子的凸组合[24]：
$$x_{n+1}=t_{n}h(x_n)+(1-t_n)pro{x}_{{\alpha }_{n}g}(I-{\alpha }_{n}D\nabla f+e)(x_n).$$2.superiorization方法
  在原始优化算法的基础上通过定义成本函数的方法用于解决非线性约束的优化问题，构造前提是原始优化算法具有有界扰动恢复性，使用superiorization方法改造后的算法运行时间段内、迭代步数少。[25-43]
  有界扰动恢复性：设$H$是实Hilbert空间，$\Phi$是给定问题，$A_{\Phi }:H\to H$是一个算法算子，我们称算子具有有界扰动恢复性，当：若任意给定$x_0\in H$，由$x_{n+1}=A_{\Phi }{x}_n$生成的序列 { x n } n = 0 ∞ \{ x_n \}^{\infty}_{n=0} {xn​}n=0∞​收敛到问题$\Phi$的解，那么任意给定给定$y_0\in H$，有界序列 { v n } n = 0 ∞ \{ v_n \}^{\infty}_{n=0} {vn​}n=0∞​，可求和非负实数列 { β n } n = 0 ∞ \{\beta_n \}^{\infty}_{n=0} {βn​}n=0∞​，则由$y_{n+1}=A_{\Phi }(y_n+{\beta }_n{v}_n)$生成的序列 { y n } n = 0 ∞ \{y_n \}^{\infty}_{n=0} {yn​}n=0∞​也收敛到问题$\Phi$的解

本文工作

  介绍了多参数邻近尺度梯度算法和超松弛邻近尺度梯度算法，证明了算法的强收敛性和有界扰动恢复性，在此基础上给出superiorization算法，并设计了数值算例。

多参数邻近尺度梯度算法

$$v_{n+1}=t_{n}h(v_n)+{\gamma }_n{v}_n+{\lambda }_{n}pro{x}_{{\alpha }_{n}g}(I-{\alpha }_{n}D\nabla f)(v_n)$$其中$t_n,{\gamma }_n,{\lambda }_n\subset [0,1]$、$0<\underset{n}{\inf }{\gamma }_n$且$t_n+{\gamma }_n+{\lambda }_n=1$,映射$h:H\to H$为$\rho$压缩映射，$\rho \in [0,1)$且$$\sum _{n=0}^{\infty }\Vert \theta (v_n)\Vert :=\sum _{n=0}^{\infty }\Vert \nabla f(v_n)-D(v_n)\nabla f(v_n)\Vert <\infty$$
  证明思路：1、先证明上述算法生成的 { v n } \{v_n\} {vn​}强收敛于问题的解，并求出该解：先证 { v n } \{v_n\} {vn​}有界，再证存在 { v n } \{v_n\} {vn​}的子列 { v n } \{v_n\} {vn​}弱极限点集包含于原问题的解集，最后证明 { v n } \{v_n\} {vn​}收敛到问题解集中的$z$，这里$z$是满足$⟨(I-h)z,v-z⟩\ge 0,v\in S$的唯一解。2、再证该算法具有有界扰动恢复性质，即$x_{n+1}=t_{n}h(x_n+{\beta }_n{y}_n)+{\gamma }_n(x_n+{\beta }_n{y}_n)+{\lambda }_{n}pro{x}_{{\alpha }_{n}g}(I-{\alpha }_{n}D\nabla f)(x_n+{\beta }_n{y}_n)$（这里 { y n } n = 0 ∞ \{y_n \}^{\infty}_{n=0} {yn​}n=0∞​是有界序列）强收敛于问题解集中的点。3、写出该算法的superiorization算法。
  通过数值算例证明了多参数邻近尺度梯度算法的superiorization算法运行效果最优。

超松弛邻近尺度梯度算法

$$v_{n+1}=t_{n}h(v_n)+{\gamma }_n{v}_n+{\lambda }_{n}pro{x}_{{\alpha }_{n}g}(I-{\alpha }_{n}D\nabla f)(v_n)+e_n$$  此为带有外扰动的超松弛邻近尺度梯度算法，带有内扰动的超松弛邻近尺度梯度算法可以转化为外扰动超松弛邻近尺度梯度算法。证明类似上一命题，略。