非凸问题的优化-BSUM (迭代分块连续上界最小化，Block Successive Upper bound Minization)

背景

对于一些很转化为凸或拟凸问题的非凸优化问题，此时可以有限考虑获得该问题的一个稳定点（Stationary Point，又称驻点、平稳点）。

稳定点-Stationary Point

令 $f:\mathcal{C}\to \mathbb{R}$是一个连续的非凸函数，可能不可微，其中 $\mathcal{C}\subseteq {\mathbb{R}}^n$是一个闭凸集。考虑如下的一个最小化问题
$$\underset{\mathbf{x}\in \mathcal{C}}{\min }f(\mathbf{x})$$
$f$关于点$\mathbf{x}$在方向$\mathbf{v}$上的方向导数定义为：
$$\begin{array}{rl}{f}^{\prime }(\mathbf{x};\mathbf{v})& \triangleq \underset{\lambda \downarrow 0}{\mathrm{liminf}}\frac{f(\mathbf{x}+\lambda \mathbf{v})-f(\mathbf{x})}{\lambda }\\ & =\underset{\lambda \to 0^{+}}{\lim }\underset{0<\mu \le \lambda }{\inf }\frac{f(\mathbf{x}+\mu \mathbf{v})-f(\mathbf{x})}{\mu }\end{array}$$
如果对于所有的$\mathbf{v}$满足$f^{\prime }(\mathbf{x};\mathbf{v})\ge 0$使得$\mathbf{x}+\mathbf{v}\in \mathcal{C}$，则称$\mathbf{v}$为稳定点。当$f$可微时，$f^{\prime }(\mathbf{x};\mathbf{v})$等价为$\nabla f(\mathrm{x})=0$。

一般来说，一个稳定点可以是局部最小点、局部最大点或者鞍点，当$f$为凸时没稳定点就是凸优化问题的全局最优解。

函数正则性

在介绍BSUM方法之前，先结合稳定点的定义，引入函数正则性。令$f:{\mathbb{R}}^n\to \mathbb{R}$和$\mathrm{x}=\left({\mathrm{x}}_1,\dots ,{\mathrm{x}}_m\right)\in \mathrm{dom}f$，其中${\mathbf{x}}_i\in {\mathbb{R}}^{n_i}$，且$n_1+\cdots +n_m=n$。如果对于所有
$$\{\begin{array}{l}\mathbf{v}\triangleq \left({\mathbf{v}}_1,\dots ,{\mathbf{v}}_m\right)\in {\mathbb{R}}^{n_1}\times \cdots \times {\mathbb{R}}^{n_m}\\ {\mathbf{v}}_i\triangleq \left(0_{n_1},\dots ,0_{n_{i-1}},{\mathbf{v}}_i,0_{n_{i+1}},\dots ,0_{n_m}\right),{\mathbf{v}}_i\in {\mathbb{R}}^{n_i}\end{array}$$
都有$f^{\prime }\left(\mathbf{x};{\mathbf{v}}_i\right)\ge 0$，其中$i=1,...,m$(即：$f^{\prime }(\mathbf{x};\mathbf{v})\ge 0$)，则称$f:{\mathbb{R}}^n\to \mathbb{R}$是正则的。如果$f$在点$\mathbf{x}$是可微的，则：
$$\begin{array}{rl}{f}^{\prime }(\mathbf{x};\mathbf{v})& =\nabla f(\mathbf{x}{)}^T\mathbf{v}=\nabla f(\mathbf{x}{)}^T\left\{\sum _{i=1}^m{v}_i\right\}\\ & =\sum _{i=1}^m{f}^{\prime }\left(\mathbf{x};{\mathbf{v}}_i\right)\ge 0\end{array}$$
如果$f^{\prime }\left(\mathbf{x};{\mathbf{v}}_i\right)\ge 0,\forall i$所以$\mathbf{x}$一定是$f$的正则点。

BSUM

假设$\mathcal{C}={\mathcal{C}}_1\times \cdots \times {\mathcal{C}}_m$，其中${\mathcal{C}}_i\subseteq {\mathbb{R}}^{n_i},i=1,\dots ,m$是闭凸集，并且${\sum }_{i=1}^m{n}_i=n$。通过合理地利用这种块结构,BSUM以轮询的方式迭代更新$m$个变量块，从高效地得到问题${\min }_{\mathbf{x}\in \mathcal{C}}f(\mathbf{x})$的稳定点。

具体来说，就是已知第$(r-1)$次迭代中的一个可行点$\overline{\mathbf{x}}=\left({\overline{\mathbf{x}}}_1,\dots ,{\overline{\mathbf{x}}}_m\right)\in \mathcal{C}$，那么在第$r$次迭代中，第$i$个块${\overline{\mathbf{x}}}_i$的更新公式就为，
$${\overline{\mathbf{x}}}_i=\arg \underset{{\mathbf{x}}_i\in {\mathcal{C}}_i}{\min }{\bar{f}}_i\left({\mathbf{x}}_i\mid \overline{\mathbf{x}}\right)$$
其中$i=((r-1)\mathrm{m}\mathrm{o}\mathrm{d}m)+1$，${\bar{f}}_i\left({\mathbf{x}}_i\mid \overline{\mathbf{x}}\right)$是$f(\mathbf{x})$在参考点$\mathrm{x}=\overline{\mathrm{x}}\in \mathcal{C}$处关于第$i$个块的一个上限近似值。图1展示了BSUM在$m=n=1$时的一个迭代过程。

总结起来，BSUM的算法流程如下：

BSUM的收敛性

假设以下的两个条件为真：

• 对于任意的$i=1,...,m$，${\bar{f}}_i\left({\mathbf{x}}_i\mid \overline{\mathbf{x}}\right)$是关于${\mathbf{x}}_i$的拟凸函数，且$f(\mathbf{x})$在每个点$\mathbf{x}\in \mathcal{C}$都是正则的（4.161a）
• 存在点${\mathbf{x}}^{\prime }\in \mathcal{C}$使得下水平集 S = { x ∈ C ∣ f ( x ) ≤ f ( x ′ ) } \mathcal{S}=\left\{\mathbf{x} \in \mathcal{C} \mid f(\mathbf{x}) \leq f\left(\mathbf{x}^{\prime}\right)\right\} S={x∈C∣f(x)≤f(x′)}是紧的，并且$f(\mathbf{x})$在每个点$\mathbf{x}\in \mathcal{S}$都是正则的处都是正则的。（4.161b）

则对于任意的${\mathbf{x}}_i\in {\mathcal{C}}_i,\overline{\mathbf{x}}\in \mathcal{C}$和任意的${\mathbf{x}}_i+{\mathbf{v}}_i\in {\mathcal{C}}_i,\forall i$，只要：

• ${\bar{f}}_i\left({\overline{\mathbf{x}}}_i\mid \overline{\mathbf{x}}\right)=f(\overline{\mathbf{x}})$ (4.162a)
• ${\bar{f}}_i\left({\mathbf{x}}_i\mid \overline{\mathbf{x}}\right)\ge f\left({\overline{\mathbf{x}}}_1,\dots ,{\overline{\mathbf{x}}}_{i-1},{\mathbf{x}}_i,{\overline{\mathbf{x}}}_{i+1},\dots ,{\overline{\mathbf{x}}}_m\right)$(4.162b)
• ${\bar{f}}_i^{\prime }\left({\overline{\mathbf{x}}}_i;{\mathbf{v}}_i\mid \overline{\mathbf{x}}\right)=f^{\prime }\left(\overline{\mathbf{x}};{\mathbf{v}}_i\right)$(4.162c)
• ${\bar{f}}_i\left({\mathbf{x}}_i\mid \overline{\mathbf{x}}\right)$关于$\left({\mathbf{x}}_i,\overline{\mathbf{x}}\right)$是连续的(4.162d)
• ${\overline{\mathbf{x}}}_i=\arg {\min }_{{\mathbf{x}}_i\in {\mathcal{C}}_i}{\bar{f}}_i\left({\mathbf{x}}_i\mid \overline{\mathbf{x}}\right)$有唯一解(4.162e)

成立，则BSUM算法产生的迭代序列$\overline{\mathbf{x}}$能够收敛到${\min }_{\mathbf{x}\in \mathcal{C}}f(\mathbf{x})$的一个平稳点。

若可微时，可化为
$$\begin{array}{rl}& {\overline{\mathbf{x}}}_i=\arg \min \left\{{\bar{f}}_i\left({\mathbf{x}}_i\mid \overline{\mathbf{x}}\right)-f\left({\overline{\mathbf{x}}}_1,\dots ,{\overline{\mathbf{x}}}_{i-1},{\mathbf{x}}_i,{\overline{\mathbf{x}}}_{i+1},\dots ,{\overline{\mathbf{x}}}_m\right)\right\}\\ \Rightarrow & {\nabla }_{{\mathbf{x}}_i}\left({\bar{f}}_i\left({\overline{\mathbf{x}}}_i\mid \overline{\mathbf{x}}\right)-f(\overline{\mathbf{x}})\right)=0\\ \Rightarrow & \nabla {\bar{f}}_i\left({\overline{\mathbf{x}}}_i\mid \overline{\mathbf{x}}\right)={\nabla }_{{\mathbf{x}}_i}f(\overline{\mathbf{x}})\\ \Rightarrow & \nabla {\bar{f}}_i{\left({\overline{\mathbf{x}}}_i\mid \overline{\mathbf{x}}\right)}^T{\mathbf{v}}_i={\nabla }_{{\mathbf{x}}_i}f(\overline{\mathbf{x}}{)}^T{\mathbf{v}}_i=\nabla f(\overline{\mathbf{x}}{)}^T{\mathbf{v}}_i\\ \Rightarrow & {\bar{f}}_i^{\prime }\left({\overline{\mathbf{x}}}_i;{\mathbf{v}}_i\mid \overline{\mathbf{x}}\right)=f^{\prime }\left(\overline{\mathbf{x}};{\mathbf{v}}_i\right)\end{array}$$
也就是说(4.162c)已定位针，因此BSUM方法的收敛条件可以简化为式子(4.162a)、(4.162b)、(4.162d)、(4.162e)。

• 注：(4.162e)的收敛条件仅仅适用于$m>1$的情况，对于$m=1$的情况下，BSUM简称为SUM，该方法在无需满足(4.162e)的收敛条件下，就可以得到问题${\min }_{\mathbf{x}\in \mathcal{C}}f(\mathbf{x})$的一个平稳点。

通过BSUM方法来求解${\min }_{\mathbf{x}\in \mathcal{C}}f(\mathbf{x})$的一个平稳点。的关键是合适地射界或找到一个近似函数${\bar{f}}_i\left({\mathbf{x}}_i\mid \overline{\mathbf{x}}\right),i=1,\dots ,m$，一方面满足式子(4.162e)的所有条件，另一方面可以有效的解决${\overline{\mathbf{x}}}_i=\arg {\min }_{{\mathbf{x}}_i\in {\mathcal{C}}_i}{\bar{f}}_i\left({\mathbf{x}}_i\mid \overline{\mathbf{x}}\right)$

一个例子：SISO之间的干扰控制

考虑一个两用户的SISO信道。其中两个单天线发射机同时同频地和各自的单天线接收机通信。因此这两个收发对在信号接收端相互干扰彼此。该系统的信号模型可以表示为：
$$y_1=x_1+h_{21}{x}_2+n_1$$
$$y_2=h_{12}{x}_1+x_2+n_2$$
其中，$y_i$是第$i$个接收机的信号，$x_i$是第$i$个发射机的信号，$h_{ki}\in \mathbb{C}$是发射机$k$和接收机$i$之间的交叉连接信道增益。$n_i\sim \mathcal{C}\mathcal{N}\left(0,{\sigma }_i^2\right)$是接收机$iu$的信号。（注：接收信号$y_i$）已经用$h_{ii}$做了归一化处理，为了简单起见，直接$h_{ii}=1$。假定传输信号$x_i$经过零均值、方差为$p_i$的高斯编码，经过检测解码后获得期望的信号$x_i$。根据每个$y_i$的SINR，两个收发对的可达速率为：
$$\begin{array}{rl}{r}_1\left(p_1,p_2\right)& ={\log }_2\left(1+\frac{\mathbb{E}\left\{{\left|x_1\right|}^2\right\}}{\mathbb{E}\left\{{\left|h_{21}{x}_2+n_1\right|}^2\right\}}\right)\\ & ={\log }_2\left(1+\frac{p_1}{{\left|h_{21}\right|}^2{p}_2+{\sigma }_1^2}\right)\text{ bits }/\text{ transmission }\end{array}$$
$$\begin{array}{rl}{r}_2\left(p_1,p_2\right)& ={\log }_2\left(1+\frac{\mathbb{E}\left\{{\left|x_2\right|}^2\right\}}{\mathbb{E}\left\{{\left|h_{12}{x}_1+n_2\right|}^2\right\}}\right)\\ & ={\log }_2\left(1+\frac{p_2}{{\left|h_{12}\right|}^2{p}_1+{\sigma }_2^2}\right)\text{ bits/transmission. }\end{array}$$

为了最大化和速率，考虑如下的功率控制问题：
$$\begin{array}{cl}{\max }_{p_1,p_2}& r_1\left(p_1,p_2\right)+r_2\left(p_1,p_2\right)\\ \text{ s.t. }& 0\le p_1\le P_1\\ & 0\le p_2\le P_2\end{array}$$
其中$P_1$和$P_2$分别为接收机1和接收机2的最大发射功率。

对该问题的分析：1.目标函数非凸非凹，所以该问题在$(p1,p2)$上式非凸的。2.可行解是闭的，且为凸函。

利用BSUM的方法求解。首先将该问题写为标准的优化问题形式：
$$\begin{array}{rl}{\min }_{p_1,p_2}& f\left(p_1,p_2\right)\triangleq -r_1\left(p_1,p_2\right)-r_2\left(p_1,p_2\right)\\ \text{ s.t. }& 0\le p_1\le P_1\\ & 0\le p_2\le P_2\end{array}$$
由二阶条件可以知道$-r_1\left(p_1,p_2\right)$在$p_1$处为凸，在$p_2$处为凹，而$-r_2\left(p_1,p_1\right)$在$p_2$处为凸，在$p_1$处为凹。利用凹函数的一阶近似来得到期望近似函数，分别表示为：${\bar{f}}_1\left(p_1\mid {\bar{p}}_1,{\bar{p}}_2\right)$和${\bar{f}}_2\left(p_2\mid {\bar{p}}_1,{\bar{p}}_2\right)$，并且这两个函数满足条件(4.162)，具体如下：
f ˉ 1 ( p 1 ∣ p ˉ 1 , p ˉ 2 ) ≜ − r 1 ( p 1 , p ˉ 2 ) − r 2 ( p ˉ 1 , p ˉ 2 ) + ( p 1 − p ˉ 1 ) ∂ { − r 2 ( p 1 , p ˉ 2 ) } ∂ p 1 ∣ p 1 = p ˉ 1 = − r 1 ( p 1 , p ˉ 2 ) − r 2 ( p ˉ 1 , p ˉ 2 ) + ∣ h 12 ∣ 2 p ˉ 2 ( p 1 − p ˉ 1 ) / log ⁡ 2 ( p ˉ 2 + ∣ h 12 ∣ 2 p ˉ 1 + σ 2 2 ) ( ∣ h 12 ∣ 2 p ˉ 1 + σ 2 2 ) ≥ f ( p 1 , p ˉ 2 ) \begin{aligned} \bar{f}_{1}\left(p_{1} \mid \bar{p}_{1}, \bar{p}_{2}\right) & \triangleq-r_{1}\left(p_{1}, \bar{p}_{2}\right)-r_{2}\left(\bar{p}_{1}, \bar{p}_{2}\right)+\left.\left(p_{1}-\bar{p}_{1}\right) \frac{\partial\left\{-r_{2}\left(p_{1}, \bar{p}_{2}\right)\right\}}{\partial p_{1}}\right|_{p_{1}=\bar{p}_{1}} \\ &=-r_{1}\left(p_{1}, \bar{p}_{2}\right)-r_{2}\left(\bar{p}_{1}, \bar{p}_{2}\right)+\frac{\left|h_{12}\right|^{2} \bar{p}_{2}\left(p_{1}-\bar{p}_{1}\right) / \log 2}{\left(\bar{p}_{2}+\left|h_{12}\right|^{2} \bar{p}_{1}+\sigma_{2}^{2}\right)\left(\left|h_{12}\right|^{2} \bar{p}_{1}+\sigma_{2}^{2}\right)} \\ & \geq f\left(p_{1}, \bar{p}_{2}\right) \end{aligned} fˉ​1​(p1​∣pˉ​1​,pˉ​2​)​≜−r1​(p1​,pˉ​2​)−r2​(pˉ​1​,pˉ​2​)+(p1​−pˉ​1​)∂p1​∂{−r2​(p1​,pˉ​2​)}​∣∣∣∣​p1​=pˉ​1​​=−r1​(p1​,pˉ​2​)−r2​(pˉ​1​,pˉ​2​)+(pˉ​2​+∣h12​∣2pˉ​1​+σ22​)(∣h12​∣2pˉ​1​+σ22​)∣h12​∣2pˉ​2​(p1​−pˉ​1​)/log2​≥f(p1​,pˉ​2​)​
和
f ˉ 2 ( p 2 ∣ p ˉ 1 , p ˉ 2 ) ≜ − r 2 ( p ˉ 1 , p 2 ) − r 1 ( p ˉ 1 , p ˉ 2 ) + ( p 2 − p ˉ 2 ) ∂ { − r 1 ( p ˉ 1 , p 2 ) } ∂ p 2 ∣ p 2 = p ˉ 2 = − r 2 ( p ˉ 2 , p 2 ) − r 1 ( p ˉ 1 , p ˉ 2 ) + ∣ h 21 ∣ 2 p ˉ 1 ( p 2 − p ˉ 2 ) / log ⁡ 2 ( p ˉ 1 + ∣ h 21 ∣ 2 p ˉ 2 + σ 1 2 ) ( ∣ h 21 ∣ 2 p ˉ 2 + σ 1 2 ) ≥ f ( p ˉ 1 , p 2 ) \begin{aligned} \bar{f}_{2}\left(p_{2} \mid \bar{p}_{1}, \bar{p}_{2}\right) & \triangleq-r_{2}\left(\bar{p}_{1}, p_{2}\right)-r_{1}\left(\bar{p}_{1}, \bar{p}_{2}\right)+\left.\left(p_{2}-\bar{p}_{2}\right) \frac{\partial\left\{-r_{1}\left(\bar{p}_{1}, p_{2}\right)\right\}}{\partial p_{2}}\right|_{p_{2}=\bar{p}_{2}} \\ &=-r_{2}\left(\bar{p}_{2}, p_{2}\right)-r_{1}\left(\bar{p}_{1}, \bar{p}_{2}\right)+\frac{\left|h_{21}\right|^{2} \bar{p}_{1}\left(p_{2}-\bar{p}_{2}\right) / \log 2}{\left(\bar{p}_{1}+\left|h_{21}\right|^{2} \bar{p}_{2}+\sigma_{1}^{2}\right)\left(\left|h_{21}\right|^{2} \bar{p}_{2}+\sigma_{1}^{2}\right)} \\ & \geq f\left(\bar{p}_{1}, p_{2}\right) \end{aligned} fˉ​2​(p2​∣pˉ​1​,pˉ​2​)​≜−r2​(pˉ​1​,p2​)−r1​(pˉ​1​,pˉ​2​)+(p2​−pˉ​2​)∂p2​∂{−r1​(pˉ​1​,p2​)}​∣∣∣∣​p2​=pˉ​2​​=−r2​(pˉ​2​,p2​)−r1​(pˉ​1​,pˉ​2​)+(pˉ​1​+∣h21​∣2pˉ​2​+σ12​)(∣h21​∣2pˉ​2​+σ12​)∣h21​∣2pˉ​1​(p2​−pˉ​2​)/log2​≥f(pˉ​1​,p2​)​
其中${\bar{p}}_1$和${\bar{p}}_2$是满足功率约束的任一点，。不难证明上述的近似函数都满足BSUM的收敛要求。此外，两个对应的子问题现在为：
$$\underset{0\le p_1\le P_1}{\min }{\bar{f}}_1\left(p_1\mid {\bar{p}}_1,{\bar{p}}_2\right)$$
$$\underset{0\le p_2\le P_2}{\min }{\bar{f}}_2\left(p_2\mid {\bar{p}}_1,{\bar{p}}_2\right)$$
均为凸问题，且具有唯一解（因为${\bar{f}}_1$和${\bar{f}}_2$分别是关于$p_1$和$p_2$的严格凸函数）由一阶最优条件可以得到，
$$p_1^{\star }=\{\begin{array}{ll}{g}_1\left({\bar{p}}_1,{\bar{p}}_2\right),& \text{ if }0\le g_1\left({\bar{p}}_1,{\bar{p}}_2\right)\le P_1\\ P_1,& \text{ if }{g}_1\left({\bar{p}}_1,{\bar{p}}_2\right)>P_1\\ 0,& \text{ if }{g}_1\left({\bar{p}}_1,{\bar{p}}_2\right)<0\end{array}（4.165a）$$
$$p_2^{\star }=\{\begin{array}{ll}{g}_2\left({\bar{p}}_1,{\bar{p}}_2\right),& \text{ if }0\le g_2\left({\bar{p}}_1,{\bar{p}}_2\right)\le P_2,\\ P_2,& \text{ if }{g}_2\left({\bar{p}}_1,{\bar{p}}_2\right)>P_2\\ 0,& \text{ if }{g}_2\left({\bar{p}}_1,{\bar{p}}_2\right)<0\end{array}（4.165b）$$
其中：
$$g_1\left({\bar{p}}_1,{\bar{p}}_2\right)=\frac{\left({\bar{p}}_2+{\left|h_{12}\right|}^2{\bar{p}}_1+{\sigma }_2^2\right)\left({\left|h_{12}\right|}^2{\bar{p}}_1+{\sigma }_2^2\right)}{{\left|h_{12}\right|}^2{\bar{p}}_2}-\left({\left|h_{21}\right|}^2{\bar{p}}_2+{\sigma }_1^2\right)$$

$$g_2\left({\bar{p}}_1,{\bar{p}}_2\right)=\frac{\left({\bar{p}}_1+{\left|h_{21}\right|}^2{\bar{p}}_2+{\sigma }_1^2\right)\left({\left|h_{21}\right|}^2{\bar{p}}_2+{\sigma }_1^2\right)}{{\left|h_{21}\right|}^2{\bar{p}}_1}-\left({\left|h_{12}\right|}^2{\bar{p}}_1+{\sigma }_2^2\right)$$

因为$f\left(p_1,p_2\right)$可微，故其在任意点处均是正则的；又因为${\bar{f}}_1\left(p_1\mid {\bar{p}}_1,{\bar{p}}_2\right)$和${\bar{f}}_2\left(p_2\mid {\bar{p}}_1,{\bar{p}}_2\right)$都是严格的凸函数，满足前提（4.161a），此外可行集解 { ( p 1 , p 2 ) ∣ 0 ≤ p 1 ≤ P 1 , 0 ≤ p 2 ≤ P 2 } \left\{\left(p_{1}, p_{2}\right) \mid 0 \leq p_{1} \leq P_{1}, 0 \leq p_{2} \leq P_{2}\right\} {(p1​,p2​)∣0≤p1​≤P1​,0≤p2​≤P2​}是紧的，满足前提（4.161b）。则算法4.3一定可以收敛到问题的稳定点。

遗留小问题

BSUM和MM算法的区别？