矩阵单调性优化框架

总论

本文是北理工邢成文老师于2015年的一份工作，主要讨论通过函数的单调性来达到降低优化问题维度，拿到最优解形式的目的。
参考资料：
C. Xing, S. Ma and Y. Zhou, “Matrix-Monotonic Optimization for MIMO Systems,” in IEEE Transactions on Signal Processing, vol. 63, no. 2, pp. 334-348, Jan.15, 2015, doi:10.1109/TSP.2014.2373332.

文章结构

首先在绪论中，作者介绍了针对矩阵优化问题的一般解决思路，并引出了达到这个思路的两种方法：基于KKT条件的优化方法以及基于最优化理论的优化方法。在分析了这两种方法的本质和优缺点后，作者提出了一个思考：**是否可以将函数的单调性像凸性一样变成解优化问题的一个切入点呢？**本文既是在这个思考下做出的一些尝试。
文章结构如下：
在II节用一系列MIMO例子引出MVOP（matrix-variate optimization problems）问题的普适性；
在III节介绍MMOP（matrix-monotonic optimization problems）优化框架；
在IV节介绍MVOP如何转化为MMOP问题（基于酉阵的转化方法）；
在V节扩展到多变量问题。
下面按照文章内容进行介绍。

I.绪论

绪论主要有3个问题：

1. 矩阵优化问题的挑战及解决思路，并介绍了两种实现方法并分析了本质及缺陷；
2. 本文的思考出发点
3. 本文相比其他工作的不同
4. 贡献

矩阵优化问题

解决思路

矩阵优化问题的挑战主要是优化变量维度过高，造成很大的复杂度。所以希望能降低优化问题的维度，而实现的方式是利用最优解的结构信息来降低问题维度。而最优解结构信息的获得主流有两种方式：基于KKT条件的优化方法以及基于有优化理论的优化方法。

基于KKT条件的优化方法

KKT条件提供了最优解的必要条件，当优化问题满足强对偶条件时则进化为充要条件，所以满足KKT条件的最优解的共同结构则是我们所需要的最优解结构。
KKT条件方法的主要问题是当问题过于复杂，我们可能无法通过该方法获得最优结构。

基于最优化理论的优化方法

该方法的思路是将原始的性能指标换为一个MSE矩阵对角线单元的函数。
而该思路是system-dependent的，并且要求MSE函数必须是关于优化变量的函数。

本文思考出发点

单调性和凸性一样是函数的基本性质，所以希望能从单调性出发给出一个优化矩阵函数的优化方法。

本文相比其他工作的不同

2点不同：

1. 目标函数是一个H阵，而不是H阵的标量函数（从这里看貌似适用范围变小了？）
2. 最终效果是给出了一个最优闭式解，而不是给出了最优解的数值计算方法（这是一个进步）
   这两点不同的比较对象见原论文，具体在第二页右上角。

贡献

1. 给出了MMOP优化框架；
2. 在上述框架基础上讨论了Pareto最优解的实现（即在该最有结构基础上，通过注水法可得到资源的最佳分配，Pareto最优解是资源分配问题，原问题指在系统中让无人受损基础上有人收益更大，稳定之后即资源最优分配）；
3. MVOP如何转化为MMOP（基于酉阵的转化方法）；
4. 扩展到多变量。

II.问题统一

本小节作者提出了一系列MIMO中的基本问题，并转化为MVOP问题，旨在说明MVOP问题应用的广泛性。

MIMO中问题

互信息最大

$$\begin{array}{rl}\text{ Case 1: }\underset{\mathbf{X}}{\min }& -\log \left|{\mathbf{X}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{X}}^{-1}\mathbf{H}\mathbf{X}+\mathbf{N}\right|\\ \text{ s.t. }& {\mathbf{K}}_{\mathbf{X}}=\mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\right)\le P\end{array}\text{\hspace{1em}(1)}$$
其中$\mathbf{H},\mathbf{N},\mathbf{\Psi },\mathbf{\Sigma }$为恒定矩阵，$\mathbf{N},\mathbf{\Psi },\mathbf{\Sigma }$为半正定矩阵。同样问题的不同表述为：
$$\begin{array}{rl}\text{ Case 2: }\underset{\mathbf{X}}{\min }& -\log \left|{\mathbf{A}}^{\mathrm{H}}{\mathbf{X}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{X}}^{-1}\mathbf{H}\mathbf{X}\mathbf{A}+\mathbf{I}\right|\\ \text{ s.t. }& {\mathbf{K}}_{\mathbf{X}}=\mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\right)\le P,\end{array}\text{\hspace{1em}(2)}$$
$\mathbf{A},\mathbf{N}$都满秩。

MSE最小化问题

$$\begin{array}{rl}\text{ Case 3: }\underset{\mathbf{X}}{\min }& \mathrm{Tr}\left[{\left({\mathbf{X}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{X}}^{-1}\mathbf{H}\mathbf{X}+\mathbf{N}\right)}^{-1}\right]\\ \text{ s.t. }& {\mathbf{K}}_{\mathbf{X}}=\mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\right)\le P\end{array}\text{\hspace{1em}(3)}$$
同样问题的不同表述为：
$$\begin{array}{rl}\text{ Case 4: }\underset{\mathbf{X}}{\min }& \mathrm{Tr}\left[{\left(\left({\mathbf{X}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{X}}^{-1}\mathbf{H}\mathbf{X}\right)\otimes \mathbf{M}+\mathbf{N}\otimes \mathbf{M}\right)}^{-1}\right]\\ \text{ s.t. }& {\mathbf{K}}_{\mathbf{X}}=\mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\right)\le P\end{array}\text{\hspace{1em}(4)}$$

Dual-Hop AF MIMO Relaying Systems

$$\begin{array}{rl}\text{ Case 5: }\underset{\mathbf{X}}{\min }& \log \left|{\mathbf{A}}^{\mathrm{H}}{\left({\mathbf{X}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{X}}^{-1}\mathbf{H}\mathbf{X}+\mathbf{I}\right)}^{-1}\mathbf{A}+\mathbf{N}\right|\\ \text{ s.t. }& {\mathbf{K}}_{\mathbf{X}}=\mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\right)\le P\end{array}\text{\hspace{1em}(5)}$$
$$\begin{array}{rl}\text{ Case 6: }\underset{\mathbf{X}}{\min }& \mathrm{Tr}\left[{\mathbf{A}}^{\mathrm{H}}{\left({\mathbf{X}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{X}}^{-1}\mathbf{H}\mathbf{X}+\mathbf{I}\right)}^{-1}\mathbf{A}\right]\\ \text{ s.t. }& {\mathbf{K}}_{\mathbf{X}}=\mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\right)\le P\end{array}\text{\hspace{1em}(6)}$$

Additive Majorization Theory Based Optimization Problems

$$\begin{array}{rl}\text{ Case 7: }\underset{\mathbf{X}}{\min }& f_{\text{A-Schur }}\left(\mathbf{d}\left[{\left({\mathbf{X}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{X}}^{-1}\mathbf{H}\mathbf{X}+\mathbf{I}\right)}^{-1}\right]\right)\\ & \text{ s.t. }{\mathbf{K}}_{\mathbf{X}}=\mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\right)\le P\end{array}\text{\hspace{1em}(7)}$$
其中$f_{\text{A-Schur }}(\bullet )$为增函数且为加性舒尔凹（或凸）。

Multiplicative Majorization Theory Based Optimization Problems

$$\begin{array}{rl}\text{ Case 8: }\min & f_{\text{M-Schur }}\left({\mathbf{d}}^2[\mathbf{L}]\right)\\ \text{ s.t. }& {\left({\mathbf{X}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{X}}^{-1}\mathbf{H}\mathbf{X}+\mathbf{I}\right)}^{-1}=\mathbf{L}{\mathbf{L}}^{\mathrm{H}}\\ & {\mathbf{K}}_{\mathbf{X}}=\mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left({\mathbf{X}\mathbf{X}}^{\mathrm{H}}\right)\le P\end{array}\text{\hspace{1em}(8)}$$

MVOP问题

以上MIMO优化问题都可以写为如下形式：
$$\begin{array}{rl}\text{ MVOP 1: }\underset{\mathbf{X}}{\min }& f_{\text{Matrix }}\left({\mathbf{K}}_{\mathbf{X}}^{-1/2}\mathbf{H}\mathbf{X}\right)\\ \text{ s.t. }& {\mathbf{K}}_{\mathbf{X}}=\mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left(\mathbf{X}{\mathbf{X}}^{\mathrm{H}}\right)\le P\end{array}\text{\hspace{1em}(9)}$$
由辅助酉阵$\mathbf{Q}$，用$\mathbf{F}$换$\mathbf{X}$，原问题转化为：
$$\begin{array}{rl}\text{ MVOP 2: }\underset{\mathbf{F}}{\min }& f_{\text{Vector }}\left[\mathbf{\lambda }\left({\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}\right)\right]\\ \text{ s.t. }& {\mathbf{K}}_{\mathbf{F}}=\mathrm{Tr}\left(\mathbf{F}{\mathbf{F}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left(\mathbf{F}{\mathbf{F}}^{\mathrm{H}}\right)\le P,\end{array}\text{\hspace{1em}(10)}$$
其中$\mathbf{\lambda }(\mathbf{Z})={\left[{\lambda }_1(\mathbf{Z}),\dots ,{\lambda }_N(\mathbf{Z})\right]}^{\mathrm{T}}$为$\mathbf{Z}$特征值向量的降序排列；$f_{\text{A-Schur }}(\bullet )$是递减的向量函数。这个过程则是MVOP问题基于酉阵的转化过程。且最优的酉阵有如下功效：
$$\begin{array}{rl}{f}_{\text{Matrix }}\left({\mathbf{K}}_{\mathbf{F}}^{-1/2}\mathbf{H}\mathbf{F}\mathbf{Q}\right)& \ge f_{\text{Matrix }}\left({\mathbf{K}}_{\mathbf{F}}^{-1/2}{\mathbf{H}\mathbf{F}\mathbf{Q}}_{\text{opt }}\right)\\ & =f_{\text{Vector }}\left[\mathbf{\lambda }\left({\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}\right)\right]\end{array}\text{\hspace{1em}(11)}$$后续也有寻找酉阵的过程，而最优的酉阵可以完成从问题$9$到问题$10$的转化。

III.MMOP优化框架

MMOP (Matrix-Monotonic Optimization Problem)

首先什么是MMOP问题，所谓矩阵单调，是定义在广义不等式上的矩阵函数运算。矩阵单调性如下：$$\mathbf{N}⪰\mathbf{M}⪰0\to f(\mathbf{N})\le f(\mathbf{M})\text{\hspace{1em}(12)}$$由矩阵单调性的定义和半正定矩阵的形式可知，上述的$f_{\text{Vector }}[\mathbf{\lambda }(\bullet )]$有如下的两个性质，这两个性质可以保证我们基于单调性得到最优解：

1. $f_{\text{Vector }}[\mathbf{\lambda }(\mathbf{M})]$关于$\mathbf{M}$单调递减
2. $f_{\text{Vector }}[\mathbf{\lambda }(\mathbf{M})]$与$\mathbf{M}$特征值对应的特征向量无关。

基于此，上述$(10)$的MVOP问题可以被转化为MMOP问题：$$\begin{array}{rl}\mathbf{M}\mathbf{M}\mathbf{O}\mathbf{P}1:\underset{\mathbf{F}}{\max }& {\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}\\ \text{ s.t. }& {\mathbf{K}}_{\mathbf{F}}=\mathrm{Tr}\left(\mathbf{F}{\mathbf{F}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left(\mathbf{F}{\mathbf{F}}^{\mathrm{H}}\right)\le P\end{array}\text{\hspace{1em}(13)}$$从$(10)$到$(13)$，我们将外层函数$f_{\text{Vector }}[\mathbf{\lambda }(\bullet )]$去掉了，目标函数从一个标量函数变成了一个矩阵函数，这是这一步变换最重要的特征。而$(13)$在优化中算多目标优化问题，在Boyd教材中有所讨论。
这一步等价变换有一个很重要的问题是，从$(11)$到$(13)$该问题被泛化了，换而言之，对于一个特定的外层函数$f_{\text{Vector }}[\mathbf{\lambda }(\bullet )]$，其可行域是问题$(13)$的一个子集。所有满足上述条件的外层函数，若其内核与限制条件不变，解出的矩阵最优解应该是一样的。

下面对问题$(13)$进行讨论。问题$(13)$有如下两个性质：

1. 问题$(13)$的目标函数，最大化${\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}$等价于最大化其特征值向量，即$\mathbf{\lambda }\left({\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}\right)$。
2. 问题$(13)$具有酉不变性，即如果有最优解${\mathbf{F}}_{\text{opt }}$，对其做任意酉变换${\mathbf{F}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\mathbf{U}$仍然是最优解。

这两个性质使得问题$(13)$相对较友好，也是下面讨论的基础。基于上述性质，以及下面的两个引理：

1. 如果$f_{\text{Monot }}(\bullet )$是关于半正定阵的单调函数，最优解应在其边界上，所以最优解的必要条件是：$$\mathrm{Tr}\left(\mathbf{F}{\mathbf{F}}^{\mathrm{H}}\right)=P\text{\hspace{1em}(14)}$$
2. 定义一个辅助变量：$${\eta }_f\triangleq \mathrm{Tr}\left(\mathbf{F}{\mathbf{F}}^{\mathrm{H}}\mathbf{\Psi }\right)\alpha +{\sigma }_n^2\text{ with }\alpha ={\lambda }_{\min }(\mathbf{\Sigma })\text{\hspace{1em}(15)}$$则$(14)$可以等价于$\mathrm{Tr}\left[\mathbf{F}{\mathbf{F}}^{\mathrm{H}}\left(\alpha P\mathbf{\Psi }+{\sigma }_n^2\mathbf{I}\right)\right]/{\eta }_f=P$

基于上述引理1与引理2，优化问题$(13)$可以被转化为$$\begin{array}{rl}\text{ MMOP 2: }\underset{\mathbf{F}}{\max }& {\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}\\ \text{ s.t. }& {\mathbf{K}}_{\mathbf{F}}=\mathrm{Tr}\left(\mathbf{F}{\mathbf{F}}^{\mathrm{H}}\mathbf{\Psi }\right)\mathbf{\Sigma }+{\sigma }_n^2\mathbf{I}\\ & \mathrm{Tr}\left[\mathbf{F}{\mathbf{F}}^{\mathrm{H}}\left(\alpha P\mathbf{\Psi }+{\sigma }_n^2\mathbf{I}\right)\right]/{\eta }_f=P\end{array}\text{\hspace{1em}(16)}$$为了进一步将约束条件2简化，定义如下辅助变量：$$\tilde{\mathbf{F}}\triangleq 1/\sqrt{{\eta }_f}{\left(\alpha P\mathbf{\Psi }+{\sigma }_n^2\mathbf{I}\right)}^{1/2}\mathbf{F}\text{\hspace{1em}(17)}$$则问题$(16)$进一步转化为$$\begin{array}{l}{\max }_{\tilde{\mathbf{F}}}{\tilde{\mathbf{F}}}^{\mathrm{H}}{\left(\alpha P\mathbf{\Psi }+{\sigma }_n^2\mathbf{I}\right)}^{-1/2}{\mathbf{H}}^{\mathrm{H}}{\left({\mathbf{K}}_{\mathbf{F}}/{\eta }_f\right)}^{-1}\mathbf{H}\times {\left(\alpha P\mathbf{\Psi }+{\sigma }_n^2\mathbf{I}\right)}^{-1/2}\tilde{\mathbf{F}}\\ \text{ s.t. }\mathrm{Tr}\left(\tilde{\mathbf{F}}{\tilde{\mathbf{F}}}^{\mathbf{H}}\right)=P\end{array}\text{\hspace{1em}(18)}$$到这里作者进一步做了一个简化，当$\mathbf{\Psi }$与$\mathbf{\Sigma }$不正比于单位阵$\mathbf{I}$时，问题会变得很复杂，所以做了$\mathbf{\Psi }\propto \mathbf{I}\text{ or }\mathbf{\Sigma }\propto \mathbf{I}$这样的假设，并且举例说明了这样的假设在实际工程应用中是有实际意义的。
基于上面正比于单位阵的假设，进一步定义下面两个恒定矩阵：$$\begin{array}{rl}{\mathbf{K}}_{\Psi }& \triangleq \frac{P{\lambda }_{\max }(\mathbf{\Psi })}{P{\lambda }_{\max }(\mathbf{\Psi })\alpha +{\sigma }_n^2}\mathbf{\Sigma }+\frac{{\sigma }_n^2}{P{\lambda }_{\max }(\mathbf{\Psi })\alpha +{\sigma }_n^2}\mathbf{I}\\ \mathbf{\Pi }& \triangleq {\mathbf{K}}_{\mathbf{\Psi }}^{-1/2}\mathbf{H}{\left(\alpha P\mathbf{\Psi }+{\sigma }_n^2\mathbf{I}\right)}^{-1/2}\end{array}\text{\hspace{1em}(19)}$$问题$(18)$进一步可以简化：$$\begin{array}{rl}\text{ MMOP 3: }& \underset{\tilde{\mathbf{F}}}{\max }{\tilde{\mathbf{F}}}^{\mathrm{H}}{\mathbf{\Pi }}^{\mathrm{H}}\mathbf{\Pi }\tilde{\mathbf{F}}\\ & \text{ s.t. }\mathrm{Tr}\left(\tilde{\mathbf{F}}{\tilde{\mathbf{F}}}^{\mathrm{H}}\right)\le P.\end{array}\text{\hspace{1em}(20)}$$该问题目标函数关于半正定的优化变量$\tilde{\mathbf{F}}$是凸的，所以松弛之后有如下问题：$$\begin{array}{ll}{\max }_{\rho ,\tilde{\mathbf{F}}}& \rho \\ \text{ s.t. }& \mathrm{Tr}\left(\tilde{\mathbf{F}}{\tilde{\mathbf{F}}}^{\mathrm{H}}\right)\le P\\ & {\tilde{\mathbf{F}}}^{\mathrm{H}}{\mathbf{\Pi }}^{\mathrm{H}}\mathbf{\Pi }\tilde{\mathbf{F}}=\rho {\tilde{\mathbf{F}}}_{\mathrm{i}\mathrm{n}}^{\mathrm{H}}{\mathbf{\Pi }}^{\mathrm{H}}\mathbf{\Pi }{\tilde{\mathbf{F}}}_{\mathrm{i}\mathrm{n}}\end{array}\text{\hspace{1em}(21)}$$其中${\tilde{\mathbf{F}}}_{\mathrm{i}\mathrm{n}}$是范数球的一个内点，即$\mathrm{Tr}\left({\tilde{\mathbf{F}}}_{\text{in }}{\tilde{\mathbf{F}}}_{\text{in }}^{\mathrm{H}}\right)<P$。由一系列的结论和引理（具体过程见原论文），该问题的解的结构由如下定理给出：

若有$\mathbf{\Psi }\propto \mathbf{I}\text{ or }\mathbf{\Sigma }\propto \mathbf{I}$，$(13)$中的最优解有如下形式：$${\mathbf{F}}_{\mathrm{o}\mathrm{p}\mathrm{t}}=\sqrt{{\eta }_f}{\left(\alpha P\mathbf{\Psi }+{\sigma }_n^2\mathbf{I}\right)}^{-1/2}{\mathbf{V}}_{\mathbf{\Pi }}{\mathbf{\Lambda }}_{\mathbf{F}}{\mathbf{U}}_{\mathrm{A}\mathrm{r}\mathrm{b}}^{\mathrm{H}}\text{\hspace{1em}(22)}$$其中${\eta }_f$有${\eta }_f=P/\mathrm{Tr}\left[{\left(\alpha P\mathbf{\Psi }+{\sigma }_n^2\mathbf{I}\right)}^{-1}{\mathbf{V}}_{\mathbf{\Pi }}{\mathbf{\Lambda }}_{\mathbf{F}}{\mathbf{\Lambda }}_{\mathbf{F}}^{\mathrm{H}}{\mathbf{V}}_{\mathbf{\Pi }}^{\mathrm{H}}\right]$，${\mathbf{V}}_{\mathbf{\Pi }}$有$\mathbf{\Pi }={\mathbf{U}}_{\mathbf{\Pi }}{\mathbf{\Lambda }}_{\mathbf{\Pi }}{\mathbf{V}}_{\mathbf{\Pi }}^{\mathrm{H}}\text{ with }{\mathbf{\Lambda }}_{\Pi }\searrow$，${\mathbf{U}}_{\mathrm{A}\mathrm{r}\mathrm{b}}$为任意酉阵。

所以下面的问题就是两个，第一${\mathbf{\Lambda }}_{\mathbf{F}}$如何求解；第二，由问题$(10)$转为问题$(13)$的酉变换怎么找。

${\mathbf{\Lambda }}_{\mathbf{F}}$的求解

对于${\mathbf{\Lambda }}_{\mathbf{F}}$的求解大部分基于KKT条件或者注水法。
首先基于上面的引理结论：$$\mathbf{\Pi }={\mathbf{U}}_{\mathbf{\Pi }}{\mathbf{\Lambda }}_{\mathbf{\Pi }}{\mathbf{V}}_{\mathbf{\Pi }}^{\mathrm{H}}\text{ with }{\mathbf{\Lambda }}_{\mathbf{\Pi }}\searrow$$$${\tilde{\mathbf{F}}}_{\mathrm{o}\mathrm{p}\mathrm{t}}={\mathbf{V}}_{\mathbf{\Pi }}{\mathbf{\Lambda }}_{\mathbf{F}}{\mathbf{U}}_{\mathrm{A}\mathrm{r}\mathrm{b}}^{\mathrm{H}}$$且${\mathbf{\Lambda }}_{\mathbf{F}}$满足${\mathbf{\Lambda }}_{\mathbf{F}}^{\mathrm{H}}{\mathbf{\Lambda }}_{\mathbf{\Pi }}^{\mathrm{H}}{\mathbf{\Lambda }}_{\mathbf{\Pi }}{\mathbf{\Lambda }}_{\mathbf{F}}\searrow$，问题$(20)$可以被写为： MOLP ⁡ : max ⁡ { f n 2 } [ λ Π , 1 2 f 1 2 , … , λ Π , N 2 f N 2 ] T  s.t.  λ Π , 1 2 f 1 2 ≥ λ Π , 2 2 f 2 2 ⋯ ≥ λ Π , N 2 f N 2 ∑ n = 1 N f n 2 ≤ P . (23) \begin{aligned} \operatorname{MOLP}: \max _{\left\{f_{n}^{2}\right\}} &\left[\lambda_{\mathbf{\Pi}, 1}^{2} f_{1}^{2}, \ldots, \lambda_{\mathbf{\Pi}, N}^{2} f_{N}^{2}\right]^{\mathrm{T}} \\ \text { s.t. } & \lambda_{\mathbf{\Pi}, 1}^{2} f_{1}^{2} \geq \lambda_{\mathbf{\Pi}, 2}^{2} f_{2}^{2} \cdots \geq \lambda_{\mathbf{\Pi}, N}^{2} f_{N}^{2} \\ & \sum_{n=1}^{N} f_{n}^{2} \leq P . \end{aligned} \tag{23} MOLP:{fn2​}max​ s.t. ​[λΠ,12​f12​,…,λΠ,N2​fN2​]TλΠ,12​f12​≥λΠ,22​f22​⋯≥λΠ,N2​fN2​n=1∑N​fn2​≤P.​(23)为了拿到${\mathbf{\Lambda }}_{\mathbf{F}}$闭式解，进一步转化为如下形式： min ⁡ { f n 2 } [ 1 λ Π , 1 2 f 1 2 + 1 , … , 1 λ Π , N 2 f N 2 + 1 ] T  s.t.  ∑ n = 1 N f n 2 ≤ P (24) \begin{array}{l} \min _{\left\{f_{n}^{2}\right\}}\left[\frac{1}{\lambda_{\mathbf{\Pi}, 1}^{2} f_{1}^{2}+1}, \ldots, \frac{1}{\lambda_{\mathbf{\Pi}, N}^{2} f_{N}^{2}+1}\right]^{\mathrm{T}} \\ \text { s.t. } \sum_{n=1}^{N} f_{n}^{2} \leq P \end{array} \tag{24} min{fn2​}​[λΠ,12​f12​+11​,…,λΠ,N2​fN2​+11​]T s.t. ∑n=1N​fn2​≤P​(24)改写为该式的好处是其中线性分式函数是关于优化变量的凸函数，对于凸的向量优化问题解Pareto最优解，基本方法是标量化： min ⁡ { f n 2 } ∑ n w n λ Π , n 2 f n 2 + 1  s.t.  ∑ k = 1 K f k 2 ≤ P , (25) \begin{array}{l} \min _{\left\{f_{n}^{2}\right\}} \sum_{n} \frac{w_{n}}{\lambda_{\Pi, n}^{2} f_{n}^{2}+1} \\ \text { s.t. } \sum_{k=1}^{K} f_{k}^{2} \leq P, \end{array} \tag{25} min{fn2​}​∑n​λΠ,n2​fn2​+1wn​​ s.t. ∑k=1K​fk2​≤P,​(25)其中$w_n$为权重系数，$f_n$的大小关系被带入$w_n$的选取中考虑，该问题可由注水法得闭式解：$$f_n^2={\left(\sqrt{\frac{w_n}{{\lambda }_{\mathbf{\Pi },n}^2\mu }}-\frac{1}{{\lambda }_{\mathbf{\Pi },n}^2}\right)}^{+}\text{\hspace{1em}(26)}$$权重系数选取考虑下式：$$\sqrt{w_1{\lambda }_{\mathbf{\Pi },1}^2}\ge \sqrt{w_2{\lambda }_{\mathbf{\Pi },2}^2}\cdots \ge \sqrt{w_N{\lambda }_{\mathbf{\Pi },N}^2}\text{\hspace{1em}(27)}$$

酉变换的确定

这里酉变换有两种方法，基于矩阵不等式的方法以及基于Majorization theory的方法。具体推到证明过程见"A. W. Marshall and I. Olkin, Inequalities: Theory of Majorization andIts Applications. New York, NY, USA: Academic, 1979."及参考文献，此处仅记录一些常用问题的结论：
首先有：$$\begin{array}{rl}\mathbf{A}& ={\mathbf{U}}_{\mathbf{A}}{\Lambda }_{\mathrm{A}}{\mathbf{V}}_{\mathrm{A}}^{\mathrm{H}}\text{ with }{\mathbf{\Lambda }}_{\mathbf{A}}\searrow \\ \mathbf{A}{\mathbf{N}}^{-1}{\mathbf{A}}^{\mathrm{H}}& ={\mathbf{U}}_{\text{ANA }}{\Lambda }_{\text{ANA }}{\mathbf{U}}_{\text{ANA }}^{\mathrm{H}}\text{ with }{\Lambda }_{\text{ANA }}\\ \mathbf{N}& ={\overline{\mathbf{U}}}_{\mathbf{N}}{\bar{\Lambda }}_{\mathrm{N}}{\overline{\mathbf{U}}}_{\mathbb{N}}^{\mathrm{H}}\text{ with }{\bar{\Lambda }}_{\mathrm{N}}\nearrow \\ {\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}& ={\mathbf{U}}_{\mathbf{F}\mathbf{H}\mathbf{F}}{\Lambda }_{\mathrm{F}\mathrm{H}\mathrm{F}}{\mathbf{U}}_{\mathbf{F}\mathbf{H}\mathbf{F}}^{\mathrm{H}}\text{ with }{\Lambda }_{\mathrm{F}\mathrm{H}\mathrm{F}}\searrow \end{array}\text{\hspace{1em}(28)}$$结论：

1. $$\begin{array}{l}\text{ Case 1: }{f}_{\text{Matrix }}(\bullet )=-\log \left|{\mathbf{Q}}^{\mathrm{H}}{\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}\mathbf{Q}+\mathbf{N}\right|\\ \text{ Solution: }{\mathbf{Q}}_{\mathrm{o}\mathrm{p}\mathrm{t}}={\mathbf{U}}_{\mathbf{F}\mathbf{H}\mathbf{F}}{\overline{\mathbf{U}}}_{\mathbf{N}}^{\mathrm{H}}\end{array}\text{\hspace{1em}(29)}$$
2. $$\begin{array}{rl}\text{ Case 2: }{f}_{\text{Matrix }}(\bullet )& =-\log \left|{\mathbf{A}}^{\mathrm{H}}{\mathbf{Q}}^{\mathrm{H}}{\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}\mathbf{Q}\mathbf{A}+\mathbf{I}\right|\\ \text{ Solution: }{\mathbf{Q}}_{\mathrm{o}\mathrm{p}\mathrm{t}}& ={\mathbf{U}}_{\mathbf{F}\mathbf{H}\mathbf{F}}{\mathbf{U}}_{\mathbf{A}}^{\mathrm{H}}.\end{array}\text{\hspace{1em}(30)}$$
3. $$\begin{array}{l}\text{ Case 3: }{f}_{\text{Matrix }}(\bullet )=\mathrm{Tr}\left[{\left({\mathbf{Q}}^{\mathrm{H}}{\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}\mathbf{Q}+\mathbf{N}\right)}^{-1}\right]\\ \text{ Solution: }{\mathbf{Q}}_{\mathrm{o}\mathrm{p}\mathrm{t}}={\mathbf{U}}_{\mathbf{F}\mathbf{H}\mathbf{F}}{\overline{\mathbf{U}}}_{\mathbf{N}}^{\mathrm{H}}\end{array}\text{\hspace{1em}(31)}$$
4. $$\begin{array}{rl}\text{ Case 4: }& f_{\text{Matrix }}(\bullet )\\ =& \mathrm{Tr}\left[{\left({\mathbf{Q}}^{\mathrm{H}}{\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}\mathbf{Q}\otimes \mathbf{M}+\mathbf{N}\otimes \mathbf{M}\right)}^{-1}\right]\\ \text{ Solution: }& {\mathbf{Q}}_{\mathrm{o}\mathrm{p}\mathrm{t}}={\mathbf{U}}_{\mathbf{F}HF}{\mathbf{U}}_{\mathbf{N}}^{\mathrm{H}}\end{array}\text{\hspace{1em}(32)}$$
5. $$\begin{array}{rl}\text{ Case 5: }{f}_{\text{Matrix }}(\bullet )& \\ =& \log \left|{\mathbf{A}}^{\mathrm{H}}{\left({\mathbf{Q}}^{\mathrm{H}}{\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}\mathbf{Q}+\mathbf{I}\right)}^{-1}\mathbf{A}+\mathbf{N}\right|\\ \text{ Solution: }& {\mathbf{Q}}_{\mathrm{o}\mathrm{p}\mathrm{t}}={\mathbf{U}}_{\mathbf{F}\mathbf{H}\mathbf{F}}{\mathbf{U}}_{\mathbf{A}\mathbf{N}\mathbf{A}}^{\mathrm{H}}\end{array}\text{\hspace{1em}(33)}$$
6. $$\begin{array}{rl}\text{ Case 6: }{f}_{\text{Matrix }}(\bullet )& \\ =& \mathrm{Tr}\left[{\mathbf{A}}^{\mathrm{H}}{\left({\mathbf{Q}}^{\mathrm{H}}{\mathbf{F}}^{\mathrm{H}}{\mathbf{H}}^{\mathrm{H}}{\mathbf{K}}_{\mathbf{F}}^{-1}\mathbf{H}\mathbf{F}\mathbf{Q}+\mathbf{I}\right)}^{-1}\mathbf{A}\right]\\ \text{ Solution: }& {\mathbf{Q}}_{\mathrm{o}\mathrm{p}\mathrm{t}}={\mathbf{U}}_{\mathbf{F}\mathbf{H}\mathbf{F}}{\mathbf{U}}_{\mathbf{A}}^{\mathrm{H}}\end{array}\text{\hspace{1em}(34)}$$