优化|一类非光滑分式规划问题的求解

原文信息: A min-max reformulation and proximal algorithms for a class of structured nonsmooth fractional optimization problems https://arxiv.org/abs/2501.02254

原文作者: Junpeng Zhou, Na Zhang, Qia Li

编者按：

分式规划是一类常见的优化问题，在经济学、机器学习以及无线通信等领域均有广泛的应用，如何高效的求解这类问题具有重要意义。求解分式规划的常用方法主要有： Dinkelbach 方法和二次转化方法等，但这两类方法都依赖于问题的结构，有一定的局限性(前者主要用于求解单比率的分式规划问题，后者则更多的用于求解最大化的分式规划问题)，因此对于一些本身结构较为特殊的优化问题来讲并不适用. 本文主要考虑基于稀疏信号恢复问题引出的一类分式规划问题，针对该类问题设计了有效的求解算法并进行的详细的理论分析.

一、问题介绍

这篇文章考虑的是一类非光滑最小化分式规划问题，可以被描述为以下形式：
$$\min \left\{\frac{f(x)}{g(x)}+h(x):x\in \Omega \cap \mathcal{C}\right\}(1)$$
其中 $f,g:{\mathbb{R}}^n\to [0,+\infty )$和 $h:{\mathbb{R}}^n\to \mathbb{R}$均为适当闭函数，$\mathcal{C}\subseteq {\mathbb{R}}^n$是闭集， Ω : = { x ∈ R n : g ( x ) ≠ 0 } \Omega:=\left\{x\in \mathbb{R}^{n}:g(x)\neq 0\right\} Ω:={x∈Rn:g(x)=0}且 $\mathcal{C}\cap \Omega \ne \varnothing$.

假设1：

• $f $在 $\Omega$ 上局部 Lipschitz 连续，
• $g$是 ${\mathbb{R}}^n$上的凸函数，
• $h=h_1-h_2$，其中 $h_1:{\mathbb{R}}^n\to \mathbb{R}$ 关于 $x\in \Omega $ 是局部 Lipschitz 连续的， $h_2:{\mathbb{R}}^n\to \mathbb{R}$是 ${\mathbb{R}}^n$上的凸函数.

关于问题(1)的求解，首先我们将这一分式规划问题转化为了一个非分式的问题，进而基于转化后的问题设计邻近点类算法进行求解. 本文的主要有以下几部分构成：第二节和第三节中介绍了一些和极小极大化问题相关的背景知识并分析了原问题和转化后问题的解之间关系；第四部分介绍了文章提出的算法介绍以及相关的算法收敛性分析；最后介绍了一个数值实验，说明算法的有效性.

二、 Min-max 问题

考虑如下的一个极小极大化问题：
$$\underset{x\in {\mathcal{F}}_X}{\min }\underset{y\in {\mathcal{F}}_Y}{\max }\Phi (x,y)$$
其中 ${\mathcal{F}}_X,{\mathcal{F}}_Y$均为非空集合且目标函数 $\Phi ：{\mathbb{R}}^n\times {\mathbb{R}}^m\to \mathbb{R}$是连续的. 对于极小化变量 $x$, 该函数是非凸的, 而关于极大化$y$, 该函数是凹函数, 因此上述问题又称为非凸-凹的极小极大化问题. 我们假设对于可行域内所有的 $x$有：${\text{arg max}}_{y\in {\mathcal{F}}_Y}\Phi (x,y)\ne \varnothing$, 并且定义 $\phi :{\mathcal{F}}_X\to \mathbb{R}$为：
$$\phi (x):=\underset{y\in {\mathcal{F}}_Y}{\max }\Phi (x,y)$$
对于点 $(x^{\ast },y^{\ast })\in {\mathcal{F}}_X\times {\mathcal{F}}_Y$，如果它满足不等式
$$\Phi (x^{\ast },y)\le \Phi (x^{\ast },y^{\ast })\le \Phi (x,y^{\ast })，\forall x\in {\mathcal{F}}_X,y\in {\mathcal{F}}_Y,$$
则称它为上述极小极大化问题的鞍点(saddle point).

注：对于非凸-凹的极小极大化问题，鞍点不一定存在. 因此关于极大极小化问题有如下的极小极大点(min-max point)的定义.

定义2.1：(全局极小极大点) 如果$y^{\ast }$是$\Phi (x^{\ast },\cdot )$的全局极大值点，$x^{\ast }$是$\phi$的全局极小值点，则称 $(x^{\ast },y^{\ast })\in {\mathcal{F}}_X\times {\mathcal{F}}_Y$是上述 min-max 问题的全局极小极大点；即该点满足以下关系：
$$\{\begin{array}{l}\phi (x^{\ast })\le \phi (x),\forall x\in {\mathcal{F}}_X\\ \Phi (x^{\ast },y^{\ast })\ge \Phi (x^{\ast }),\forall y\in {\mathcal{F}}_Y.\end{array}$$
定义2.2：(局部极小极大点) 如果$y^{\ast }$是$\Phi (x^{\ast },\cdot )$的局部极大值点，且存在一个${ϵ}_0>0$使得对于所有的$ϵ\in (0,{ϵ}_0]$,$x^{\ast }$是函数 φ ϵ : = max ⁡ { Φ ( x , y ) : y ∈ R n , ∥ y − y ∗ ∥ 2 ≤ ϵ } \varphi_{\epsilon}:=\max\{\Phi(x,y):y\in \mathbb{R}^{n},\|y-y^{*}\|_{2}\leq \epsilon\} φϵ​:=max{Φ(x,y):y∈Rn,∥y−y∗∥2​≤ϵ}的局部极小值点, 则称$(x^{\ast },y^{\ast })\in {\mathcal{F}}_X\times {\mathcal{F}}_Y$是上述 min-max 问题的局部极小极大点.

三、最优性理论

这篇文章通过引入一个新的变量，将原始的分式规划目标重新表述为了一个非分式的极小极大化问题：
$$\underset{x\in \Omega \cap \mathcal{C}}{\min }\underset{c\in \mathbb{R}}{\max }2cf(x)-c^{2}f(x)g(x)+h(x).(2)$$
接下来我们证明问题 (2) 在和问题 (1) 在最优点处是等价的. 为了方便理论说明，引入下面两个函数：
$$F(x)=\{\begin{array}{l}\frac{f(x)}{g(x)}+h(x),ifx\in \Omega \cap \mathcal{C},\\ +\infty ,else,\end{array}$$
$$\tilde{F}(x,c):=2cf(x)-c^{2}f(x)g(x)+h(x)+l_{\Omega \cap \mathcal{C}}(x),$$
其中 $l$是指示函数. 通过简单的计算，很容易可以观察到：
$$F(x)-\tilde{F}(x,c)=f(x)g(x)(\frac{1}{g(x)}-c{)}^2,\forall x\in \Omega \cap \mathcal{C},c\in \mathbb{R}.(3)$$
由 $f,g$ 的非负性，可知对于任意的 $ x\in \Omega\cap\mathcal{C}$和$c\in \mathbb{R}$，有 $F(x)\ge {\max }_{c\in \mathbb{R}}\tilde{F}(x,c)$. 结合$F$和$\tilde{F}$的定义，可得：
$$F(x)=\underset{c\in \mathbb{R}}{\max }\tilde{F}(x,c),(4)$$
其中 $c$可取 $c=\frac{1}{g(x)}$. 因此，问题 (2) 在和问题 (1) 在最优点处是等价的.

进一步地，我们可以推出以下两个命题：

命题3.1：(两个问题极小极大值点的关系)

如果 $x^{\ast }$是问题 (1) 的全局(局部) 最小值点，那么 $\left(x^{\ast },\frac{1}{g(x^{\ast })}\right)$就是问题 (2) 的一个全局(局部) 极小极大值点；反之，如果 $\left(x^{\ast },c_{\ast }\right)$是问题 (2) 的一个全局(局部)极小极大值点，那么 $x^{\ast }$就是问题 (1) 的全局(局部)最小值点.

除此之外，本文还考虑了问题 (1) 和 (2) 的稳定点之间的关系，如下：

命题3.2：(两个问题稳定点(stationary point)的关系)

如果 $0\in \hat{\partial }F(x^{\ast })$，则对于 $c_{\ast }=\frac{1}{g(x^{\ast })}$来讲，有（5）成立：
$$\{\begin{array}{l}0\in {\hat{\partial }}_x\tilde{F}(x^{\ast },c_{\ast }),\\ 0={\nabla }_c\tilde{F}(x^{\ast },c_{\ast }).\end{array}(5)$$
同样，当（5）成立时有 $0\in \hat{\partial }F(x^{\ast })$, 其中$\hat{\partial }(\cdot )$为 Frechet 次微分.

根据 命题3.2 的结论，能够得到关于问题 (1) 的一阶必要性条件：

推论3.1：如果 $0\in \hat{\partial }F(x^{\ast })$，那么当 $c_{\ast }=\frac{1}{g(x^{\ast })}$ 时有：
$$0\in \hat{\partial }(c_{\ast }f+l_{\mathcal{C}})(x^{\ast })-c_{\ast }^{2}f(x^{\ast })\partial g(x^{\ast })+\nabla h_1(x^{\ast })-\partial h_2(x^{\ast }).(6)$$
如果 $g$ 和 $h_2$ 在 $x^{\ast }$ 处是可微的，则 $0\in \hat{\partial }F(x^{\ast })$ 和 (6) 在 $c_{\ast }=\frac{1}{g(x^{\ast })}$ 处等价.

定义3.1：当 $c_{\ast }=\frac{1}{g(x^{\ast })}$ 时，我们将满足 (6) 的可行解 $x^{\ast }$称为函数 $F$ 的临界点(critical point).

四、算法介绍

4.1 交替最大化邻近下降算法(AMPDA)

在证明了 (1) 和 (2) 在最优解处的等价性之后，就可以基于 (2) 进行算法设计，但由于 (2) 中 $-c^{2}f(x)g(x) $包含非凸项和非光滑项，常见的求解Min-max问题的算法不太适用.这篇文章利用Majorization-minimization(MM)技术，找到了$\widetilde F$ 的一个上界，然后再进行算法设计.

首先我们引入如下函数，定义 $Q(x,y,z,c):{\mathbb{R}}^n\times {\mathbb{R}}^n\times {\mathbb{R}}^n\times \mathbb{R}\to (-\infty ,+\infty ]:$
$$\{\begin{array}{l}{l}_c(x)+2cf(x)+c^{2}f(x)(g^{\ast }(x)-⟨x,y⟩)+h_1(x)+h_2^{\ast }(x)-⟨x,z⟩,if(y,z)\in dom(g^{\ast })\times dom(h_2^{\ast })\\ +\infty ,otherwise\end{array}(7)$$
根据上文的定义， 对于所有 $x\in \Omega \cap \mathcal{C},(y,z)\in dom(g^{\ast })\times dom(h_2^{\ast })$ 以及 $c_x=\frac{1}{g(x)}$, 有以下的关系成立：
$$F(x)=\tilde{F}(x,c_x)\le Q(x,y,z,c_x)$$
这里的第一个等式来源于 (4), 第二个不等关系是根据 Fenchel-Young 不等式得到的.

利用函数$Q$, 我们可以执行如下的 AMPDA 算法。

注： 这里的 (1.1) 即上文中的 (1)

关于AMPDA 算法，我们在这里对$c_k$的更新和子问题 (4.4) 的形式作出一些解释。

1. $c_k$的更新

回顾第三节，我们知道对于任意的 $ x\in \Omega\cap\mathcal{C}$和$c\in\mathbb{R}$，有 $F(x)\ge {\max }_{c\in \mathbb{R}}\tilde{F}(x,c)$，并且不等式在 $c=\frac{1}{g(x)}$时取等. 因此我们在算法中令$c_k=\frac{1}{g(x_k)}$, 此时对关于$c$的函数${\psi }_k(c):=\tilde{F}(x^k,c)$，我们取到了它的全局最大解。

2. 子问题 (4.4)

Step2 中${\hat{x}}^k$ 的迭代对最小化问题 min ⁡ { F ~ ( x , c ) : x ∈ R n } \min\{\widetilde{F}(x,c):x\in \mathbb{R}^{n}\} min{F (x,c):x∈Rn} 采用了Majorization-minimization(MM) 技术，具体如下：

记本文引入的 $\tilde{F}(x,c)$ 的替代函数为 $\mathcal{M}(\cdot |x^k,c_k)$:
$$\begin{gathered} \mathcal{M}(x|x^k,c_k)=(2c_k-c_k^{2}g(x^k))f(x)+⟨\nabla h_1(x^k)-c_k^{2}f(x^k)y^k-z^k,x-x^k⟩+ \\ \left(c_k^2{L}_{f,k}\Vert y^k{\Vert }_2+\frac{L_{\nabla h_1,k}}{2}\right)\Vert x-x^k{\Vert }_2^2+h(x^k)+l_{\mathcal{C}}(x) \end{gathered}$$
( $L_{f,k},L_{\nabla h_1}$分别是和$f,\nabla h_1$有关的Lipschitz 常数). 根据 $f,h_1$的 Lipschitz 连续性以及 Cauchy-Schwarz 不等式，可以证明 ：$\tilde{F}(x,c_k)\le \mathcal{M}(x|x^k,c_k)$ . 但由于实际中 Lipschitz 常数不好估计，所以在算法设计中考虑用 $\frac{1}{2\alpha }$来替代 $\left(c_k^2{L}_{f,k}\Vert y^k{\Vert }_2+\frac{L_{\nabla h_1,k}}{2}\right)$，$\alpha$ 是通过线搜索得到的步长. 所以关于 $x_k$的子问题如下：
$$x^{k+1}\in \text{argmin}\left\{c_{k}f(x)+⟨\nabla h_1(x^k)-c_k^{2}f(x^k)y^k-z^k,x-x^k⟩+\frac{1}{2\alpha }\Vert x-x^k{\Vert }_2^2:x\in \mathcal{C}\right\}$$
显然就是上面 (4.4)的迭代格式.

4.2 收敛性分析

假设2：$F(x)$的水平集 $\mathcal{X}:=\left\{x\in \text{dom}(F):F(x)\le F(x^0)\right\}$是紧集.

在 假设2 成立的条件下，论文中证明了算法的良定义性质和充分下降性(对应论文中命题4.3)，并进一步得到了以下的收敛结论：

命题4.1：在 假设2 成立的条件下：由算法AMPDA产生的序列 $\left\{(x^k,y^k,z^k,c_k):k\in \mathbb{N}\right\}$是有界的；有 $F_{\infty }:={\lim }_{k\to \infty }F(x^k)$存在且
$$\underset{k\to \infty }{\lim }\Vert x^{k+1}-x^k{\Vert }_2=0.$$
定理4.1 证明了算法 AMPDA 的子序列收敛性质，如下：

定理4.1：已知假设2 成立，则由算法AMPDA产生的任意序列 $\left\{x^k:k\in \mathbb{N}\right\}$的聚点都在水平集$\mathcal{X}$中，并且是 $F$的临界点.

上述定理说明了算法的子序列收敛性质. 进一步的在 Kurdyka-Lojasiewicz (KL) 条件成立的情况下，本文考虑了算法 AMPDA 产生的整个序列的收敛性. 为了更强收敛性证明，首先需要介绍以下定义：

定义4.1：（KL性质）$\varphi:\mathbb{R}^{n}\rightarrow(-\infty,+\infty] $是适当函数，如果在 $x\in \text{dom}(\partial \phi )$处存在 $ϵ\in (0,+\infty ],\delta >0$和连续凹函数 $\varphi :[0,ϵ)\to [0,+\infty )$满足以下关系，则称 $\phi$在 $x$处满足 KL 性质：

（i）$\varphi (0)=0$;

（ii）$\varphi$在 $(0,ϵ)$上连续可微并且 ${\varphi }^{\prime }>0$;

（iii）对于任意 $z\in \mathcal{B}(x,\delta )$ 满足 $\phi (x)<\phi (z)<\phi (x)+ϵ$ 的 $z\in \mathcal{B}(x,\delta )$ ,有以下不等式成立
$${\varphi }^{\prime }(\phi (z)-\phi (x))\text{dist}(0,\partial \phi (z))\ge 1.$$
注：

定理4.2：假设2 成立，如果(7) 中定义的函数$Q$是一个适当闭的 KL 函数，则由算法 AMPDA 产生的序列 $\left\{x^k:k\in \mathbb{N}\right\}$收敛到问题 (1) 的临界点(critical point).

五、数值实验

在数值实验部分，本文关注鲁棒信号恢复问题，通过比较所提出算法 AMPDA 和梯度下降流算法(gradient descent flow algorithm (GDFA)) 对同一模型的不同数值表现 (时间、迭代次数、目标函数值以及恢复误差)，说明了本文算法的有效性.

数值实验的模型之一为：
$$\min \left\{\frac{\Vert x{\Vert }_1}{\Vert x{\Vert }_2}+\frac{\lambda }{2}{\text{dist}}^2(Ax-b,{\mathcal{S}}_{\mu }):x\ne 0,x\in {\mathbb{R}}^n\right\}$$
其中 $A\in {\mathbb{R}}^{m\times n}$是观测矩阵， $b\in {\mathbb{R}}^m$是可能的噪声测量， S μ : = { z ∈ R m : ∥ z ∥ 0 ≤ μ } \mathcal{S}_{\mu}:=\left\{z\in \mathbb{R}^{m}:\|z\|_{0}\leq \mu\right\} Sμ​:={z∈Rm:∥z∥0​≤μ}，其中 $\mu $是一个非负整数. 数值结果如下：

参考文献

[1] Junpeng Zhou, Na Zhang, Qia Li. A min-max reformulation and proximal algorithms for a class of structured nonsmooth fractional optimization problems.