优化问题-GP（几何规划，Geometric Program）

基本概念

GP可以用于处理资源分配问题，其中所有的未知变量为正值，如功率、可达传输率、安全速率等。GP本身是非凸的

单项式函数(monomial function)：

函数$f:{\mathbb{R}}^n\to \mathbb{R}$，定义域为$\mathrm{dom}f={\mathbb{R}}_{++}^n$
$$f(\mathbf{x})=c{x}_1^{a_1}{x}_2^{a_2}\cdots x_n^{a_n}$$
其中$c>0$，$a_i\in \mathbb{R}$。$f$被称为单项式函数，通常是非凸的。

正项式函数(posynomial function)：

单项式的和：
$$f(\mathbf{x})=\sum _{k=1}^K{c}_k{x}_1^{a_{1k}}{x}_2^{a_{2k}}\cdots x_n^{a_{nk}}$$
其中$c_k>0$和$a_{ik}\in \mathbb{R}$。$f$被称为单项式函数，通常是非凸的。

log-sum-exp函数

$$f(\mathbf{x})=\log \left(e^{x_1}+\cdots +e^{x_n}\right)$$
在${\mathbb{R}}^n$上式凸的，其中$\mathrm{dom}f\subseteq {\mathbb{R}}^n$。（可以由二阶条件证明其凸性，即其Hessian是PSD矩阵）

延拓log-sum-exp函数

$$f(\mathbf{x})=\log \left(e^{{\mathbf{a}}_1^T\mathbf{x}+b_1}+\cdots +e^{{\mathbf{a}}_m^T\mathbf{x}+b_m}\right)$$
其中${\mathbf{a}}_i\in {\mathbb{R}}^n$，$b_i\in \mathbb{R}$。它在${\mathbb{R}}^n$也是凸的。
证明思路：log-sum-exp是凸的，仿射变换${\mathbf{a}}_i^T\mathbf{x}+b_1$是保凸的。所以它是凸的。

GP规划

几何规划的一般结构如下：
$$\begin{array}{ll}\min & {\sum }_{k=1}^{K_0}{c}_{0k}{x}_1^{a_{0,1k}}{x}_2^{a_{0,2k}}\cdots x_n^{a_{0,nk}}\\ \text{ s.t. }& {\sum }_{k=1}^{K_i}{c}_{ik}{x}_1^{a_{i,1k}}{x}_2^{a_{i,2k}}\cdots x_n^{a_{i,nk}}\le 1,i=1,\dots ,m\\ & d_i{x}_1^{g_{i1}}\cdots x_n^{g_{in}}=1,i=1,\dots ,p\end{array}$$
其中，对于任意的$i,j,k$有，$c_{ik}>0,d_i>0$和$a_{i,jk},g_{ij}\in \mathbb{R}$。定义域为$\mathcal{D}={\mathbb{R}}_{++}^n$。该问题有一些特点：

• 目标函数和不等式约束都是正项式。
• 等式约束是单项式。
• 几何规划一般不是凸优化问题。

但是几何规划问题可以通过变量代还和函数变换转化为凸优化问题。

凸GP规划

令：
$$x_i=e^{y_i}（变量代换）$$
$$\mathbf{y}={\left[y_1,\dots ,y_n\right]}^T$$

则单项式可以重新表示为：
$$c{x}_1^{a_1}{x}_2^{a_2}\cdots x_n^{a_n}=e^{{\mathbf{a}}^T\mathbf{y}+b}$$
其中$b=\log c$和$\mathbf{a}={\left[a_1,\dots ,a_n\right]}^T$。类似地，正项式子可以表示为：
$$\sum _{k=1}^K{c}_k{x}_1^{a_{1k}}{x}_2^{a_{2k}}\cdots x_n^{a_{nk}}=\sum _{k=1}^K{e}^{{\mathbf{a}}_k^T\mathbf{y}+b_k}$$
其中：
$$b_k=\log c_k,{\mathbf{a}}_k={\left[a_{1k},\dots ,a_{nk}\right]}^T$$
定义：
$${\mathbf{g}}_i={\left[g_{i1},\dots ,g_{in}\right]}^T,h_i=\log d_i$$
则原来的GP规划问题可以表示为：
$$\begin{array}{rl}\min & \sum _{k=1}^{K_0}{e}^{{\mathbf{a}}_{0k}^T\mathbf{y}+b_{0k}}\\ \text{ s.t. }& \sum _{k=1}^{K_i}{e}^{{\mathbf{a}}_{ik}^T\mathbf{y}+b_{ik}}\le 1,i=1,\dots ,m\\ & e^{{\mathbf{g}}_i^T\mathbf{y}+h_i}=1,i=1,\dots ,p\end{array}（5.8）$$

对上面的目标函数和约束函数取对数可以得到等价问题：
$$\begin{array}{ll}\min & \log {\sum }_{k=1}^{K_0}{e}^{{\mathbf{a}}_{0k}^T\mathbf{y}+b_{0k}}\\ \text{ s.t. }& \log {\sum }_{k=1}^{K_i}{e}^{{\mathbf{a}}_{ik}^T\mathbf{y}+b_{ik}}\le 0,i=1,\dots ,m\\ & {\mathbf{g}}_i^T\mathbf{y}+h_i=0,i=1,\dots ,p\end{array}$$
这是一个凸优化问题，其中$\mathbf{y}\in {\mathbb{R}}^n$是未知向量变量。通过得到最优的${\mathbf{y}}^{\star }$可以得到原GP问题的最优解，即：
$${\mathrm{x}}^{\star }=\left(e^{y_1^{\star }},\dots ,e^{y_n^{\star }}\right)$$

最优功率分配问题

考虑最大最小功率分配问题
$$\begin{array}{rl}\underset{p_i,i=1,\dots ,K}{\min }\underset{i=1,\dots ,K}{\max }& \frac{{\sum }_{j=1,j\ne i}^K{G}_{ij}{p}_j+{\sigma }_i^2}{G_{ii}{p}_i}\\ \text{ s.t. }& 0<p_i\le P_i,i=1,\dots ,K.\end{array}$$
这是一个拟凸优化问题，定义域为：$\mathcal{D}\subseteq {\mathbb{R}}_{++}^K$。该问题可以采用迭代二分法求解。（即转化为一个可行性问题：$\text{find}\mathbf{x}$）。现在考虑采用采用GP，高效地得到最优解。利用上镜图可以将该问题重构为：
$$\begin{array}{rl}{\min }_{t,p_i,i=1,\dots ,K}& t\\ \text{ s.t. }& \frac{{\sum }_{j=1,j\ne i}^K{G}_{ij}{p}_j+{\sigma }_i^2}{G_{ii}{p}_i}\le t,i=1,\dots ,K\\ & 0<p_i\le P_i,i=1,\dots ,K.\end{array}$$
其中目标函数$t$是一个单项式，对于任意的$i$约束条件是正项不等式和单项不等式。因此该问题是一个定义域为$\mathcal{D}\subseteq {\mathbb{R}}_{++}^{K+1}$的几个规划，因此，该非凸几何规划可以转化为凸优化问题。

• 一个优化问题可能转化为不同类型的优化问题，从而给出了原问题的不同解决方案。

缩合法（Condensation method）

在某些应用中（如无线通信的功率分配），会有如下的优化问题：
$$\begin{array}{l}\min q(\mathrm{x})\\ \text{ s.t. }\frac{f(\mathrm{x})}{g(\mathrm{x})}\le 1\\ h(\mathrm{x})=1\end{array}（5.13）$$
其中$q(\mathrm{x})$，$f(\mathrm{x})$，$g(\mathrm{x})$ 正项式，$h(\mathrm{x})$是单项式。因为不等式约束是两个正项式的比率，而不是一个正项式，所以他不是标准的GP，但是通过连续的GP近似方法可以解决这样的问题。该问题称为缩合法。

连续GP近似

核心思想：用单项式函数近似逼近正项式函数$g(\mathrm{x})$ ，因此，（5.13）中不等式约束的左边将是正项式（正项式和单项式之比还是正项式）。然后连续地进行用单项式近似正项式。

用单项式近似正项式的一个常见的方法是算术平均不等式。对于${\alpha }_i>0$，$u_i>0,i=1,\dots ,n$以及${\sum }_{i=1}^n{\alpha }_i=1$有：
$$\sum _{i=1}^n{u}_i\ge \prod _{i=1}^n{\left(\frac{u_i}{{\alpha }_i}\right)}^{{\alpha }_i}$$
设 { u i ( x ) } \left\{u_{i}(\mathbf{x})\right\} {ui​(x)}是正项式$g(\mathbf{x})$中的单项式，则基于算术平均不等式有：
$$g(\mathrm{x})=\sum _{i=1}^n{u}_i(\mathrm{x})\ge \prod _{i=1}^n{\left(\frac{u_i(\mathrm{x})}{{\alpha }_i}\right)}^{{\alpha }_i}（5.15）$$
显然，不等式的右边是一个单项式（单项式的乘积还是一个单项式）。在给定的一个可行点${\mathrm{x}}_0$处，选择${\alpha }_i$的一个常见方法是：
$${\alpha }_i=\frac{u_i\left({\mathrm{x}}_0\right)}{g\left({\mathrm{x}}_0\right)}（5.16）$$
其满足${\alpha }_i>0$和${\sum }_{i=1}^n{\alpha }_i=1$。通过把（5.16）中的${\alpha }_i$带入到（5.15）中有：
$$\tilde{g}\left(\mathbf{x},{\mathbf{x}}_0\right)=\prod _{i=1}^n{\left(\frac{u_i(\mathbf{x})}{{\alpha }_i}\right)}^{{\alpha }_i}\le g(\mathbf{x})$$
它是正项式函数$g(\mathbf{x}$在给定可行点${\mathbf{x}}_0$处的单项式近似，并且有
$$\tilde{g}\left({\mathrm{x}}_0,{\mathrm{x}}_0\right)=g\left({\mathrm{x}}_0\right)$$
换而言之，$\tilde{g}\left({\mathrm{x}}_0,{\mathrm{x}}_0\right)$是$g\left(\mathrm{x}\right)$的紧下界。令$\mathcal{C}$是问题（5.13）的一个可行集，且${\mathrm{x}}_0\in \mathcal{C}$,，然后有：
C ( x 0 ) ≜ { x ∣ f ( x ) / g ~ ( x , x 0 ) ≤ 1 , h ( x ) = 1 } ⊆ C ≜ { x ∣ f ( x ) / g ( x ) ≤ 1 , h ( x ) = 1 } （ 5.19 ） \begin{aligned} \mathcal{C}\left(\mathbf{x}_{0}\right) & \triangleq\left\{\mathbf{x} \mid f(\mathbf{x}) / \tilde{g}\left(\mathbf{x}, \mathbf{x}_{0}\right) \leq 1, h(\mathbf{x})=1\right\} \\ & \subseteq \mathcal{C} \triangleq\{\mathbf{x} \mid f(\mathbf{x}) / g(\mathbf{x}) \leq 1, h(\mathbf{x})=1\} \end{aligned}（5.19） C(x0​)​≜{x∣f(x)/g~​(x,x0​)≤1,h(x)=1}⊆C≜{x∣f(x)/g(x)≤1,h(x)=1}​（5.19）

现在用下列约束近似问题（5.13）不等式约束：
$$\frac{f(\mathbf{x})}{\tilde{g}\left(\mathbf{x},{\mathbf{x}}_0\right)}\le 1$$
得到：
$$\begin{array}{l}\min q(\mathbf{x})\\ \text{ s.t. }\frac{f(\mathbf{x})}{\tilde{g}\left(\mathbf{x},{\mathbf{x}}_0\right)}\le 1\\ h(\mathbf{x})=1\end{array}$$
该问题是一个标准的几何规划（其聚合约束集（condensed constraint set，$\mathcal{C}\left({\mathrm{x}}_0\right)\subseteq \mathcal{C}$(cf. （5.19)）。连续近似法（缩合法）总结如下：

目标函数值$q\left({\mathbf{x}}_0^{(k)}\right)$随迭代次数$k$单调递减，直到收敛（迭代次数为$N$），由上述连续近似方法可以找到的解${\mathbf{x}}_0^{(N)}$为：
$${\mathrm{x}}_0^{(N)}=\arg \min \left\{q(\mathrm{x})\mid \mathrm{x}\in {\cup }_{k=0}^{N-1}\mathcal{C}\left({\mathrm{x}}_0^{(k)}\right)\subseteq \mathcal{C}\right\}$$
他是问题（5.13）的近似解，次优解。

总结：对于如（5.13）的非凸问题，将其重构为凸问题十分困难。缩合法通过对（5.13）的非凸约束集的连续保守近似可以得到较好的近似解。SCA算法也是一种被广泛使用的保守近似方法，他对原问题的非凸约束进行保守的凸近似，以便利用合适的凸优化工具或者算法进行处理。但得到的是次优解，但相关的KKT条件证明其是原问题的一个稳定点。（如果能够以低复杂度高校地计算出原问题的一个稳定点，并且满足性能要求，那么实际上也就找到了原问题的实际解。）

另一个例子：物理层秘密通信
参考（T.-H. Chang, W.-C. Chiang, Y.-W. P. Hong, and C.-Y. Chi, “Training sequence design
for discriminatory channel estimation in wireless MIMO systems,” IEEE Trans. Signal
Process., vol. 58, no. 12, pp. 6223–6237, Dec. 2010.）