凸优化的中复杂度分析方法（针对二阶锥和线性矩阵不等式）

凸优化的中复杂度分析方法（针对二阶锥和线性矩阵不等式）

本文介绍了多目标优化(凸优化)中的复杂度分析方法，针对是Linear Matrix Inequality（LMI）和Second Order Cone (SOC)的型约束条件。主要参考了文献Outage Constrained Robust Transmit Optimization for Multiuser MISO Downlinks: Tractable Approximations by Conic Optimization。

先补充一下，这是二阶锥形式:

复杂度计算主要包含三个大步骤

一. 确定迭代次数
$\sqrt{\beta }$表示达到最优解所需迭代次数。其中$\beta \text{=}\underset{LMI}{\underbrace{\sum _{j=1}^p{k}_j}}+\underset{\text{SOC}}{\underbrace{2m}}$，$p$ 是指的LMI约束的个数，$k_j$表示第$j$个约束对应的维度，$m$指的是SOC约束的个数。因此迭代次数表示为：$\sqrt{\underset{LMI}{\underbrace{\sum _{j=1}^p{k}_j}}+\underset{\text{SOC}}{\underbrace{2m}}}$。
二. 确定每次迭代的复杂度
使用${\text{C}}_{form}+C_{fact}$表示每次迭代所需的复杂度。${\text{C}}_{form}\text{=}\underset{LMI}{\underbrace{n\sum _{j=1}^p{k}_j^3+n^2\sum _{j=1}^p{k}_j^2}}+\underset{\text{SOC}}{\underbrace{n\sum _{j=1}^m{k}_j^2}}$
， 其中$n$表示需要优化的总变量数目。$p$是指的LMI约束的个数$m$指的是SOC约束的个数，$k_j$表示第 个约束条件对应的维度。$C_{fact}=n^3$。
最终${\text{C}}_{form}+C_{fact}=\underset{LMI}{\underbrace{n\sum _{j=1}^p{k}_j^3+n^2\sum _{j=1}^p{k}_j^2}}+\underset{\text{SOC}}{\underbrace{n\sum _{j=1}^m{k}_j^2}}+n^3$
三. 总计算复杂度表示
$\sqrt{\underset{LMI}{\underbrace{\sum _{j=1}^p{k}_j}}+\underset{\text{SOC}}{\underbrace{2m}}}\cdot [\underset{LMI}{\underbrace{n\sum _{j=1}^p{k}_j^3+n^2\sum _{j=1}^p{k}_j^2}}+\underset{\text{SOC}}{\underbrace{n\sum _{j=1}^m{k}_j^2}}+n^3]$
$=n\cdot \sqrt{\underset{LMI}{\underbrace{\sum _{j=1}^p{k}_j}}+\underset{\text{SOC}}{\underbrace{2m}}}\cdot [\underset{LMI}{\underbrace{\sum _{j=1}^p{k}_j^3+n\sum _{j=1}^p{k}_j^2}}+\underset{\text{SOC}}{\underbrace{\sum _{j=1}^m{k}_j^2}}+n^2]$

举例1：

已知其中,${\mathbf{Q}}_i$和${\mathbf{S}}_i$都是$N_t\times N_t$的矩阵，${\mathbf{r}}_i$是$N_t\times 1$的向量,$t_i$是标量。
按照步骤写：

1）计算迭代次数

图中约束条件（1）中包含$K$个$N_t\text{+}1$维LMI，(2)中包含$K$个$N_t$维LMI, (3)中包含$K$个 维LMI。所以得$\beta \text{=}\underset{LMI}{\underbrace{\sum _{j=1}^p{k}_j}}+\underset{\text{SOC}}{\underbrace{2m}}\text{=}\underset{LMI}{\underbrace{\sum _{j=1}^{\text{K}}(N_t+1)+\sum _{j=1}^{\text{K}}{N}_t+\sum _{j=1}^{\text{K}}1}}+\underset{\text{SOC}}{\underbrace{0}}=K(N_t+1)+K{N}_t+K=2K(N_t+1)$所以得到迭代次数$\sqrt{\beta }\text{=}\sqrt{2K(N_t+1)}$。

2）每次迭代的复杂度

需要优化的变量${\mathbf{S}}_i$,$t_i$,$i=1,...,K$,所以需要优化的元素$K{N}_t^2+K$，所以$n\text{=}K{N}_t^2+K\text{=}\mathcal{O}(K{N}_t^2)$。
${\text{C}}_{form}\text{=}\underset{LMI}{\underbrace{n(\sum _{j=1}^{\text{K}}{(N_t+1)}^3+\sum _{j=1}^{\text{K}}{N}_t^3+\sum _{j=1}^{\text{K}}{1}^3}}+\underset{LMI}{\underbrace{n^2(\sum _{j=1}^{\text{K}}{(N_t+1)}^2+\sum _{j=1}^{\text{K}}{N}_t^2+\sum _{j=1}^{\text{K}}{1}^2}}+\underset{\text{SOC}}{\underbrace{0}}$
$C_{fact}=n^3$
${\text{C}}_{form}+C_{fact}=n\cdot [K({(N_t+1)}^3+N_t^3+1)+Kn({(N_t+1)}^2+N_t^2+1)+n^2]$

3）总计算复杂度表示

$\sqrt{2K(N_t+1)}n\cdot [K({(N_t+1)}^3+N_t^3+1)+Kn({(N_t+1)}^2+N_t^2+1)+n^2]$
Where $n\text{=}K{N}_t^2+K\text{=}\mathcal{O}(K{N}_t^2)$.

举例2：

举例2：

已知其中,${\mathbf{Q}}_i$和${\mathbf{S}}_i$都是$N_t\times N_t$的矩阵，${\mathbf{r}}_i$是$N_t\times 1$的向量,$t_i$是标量。
按照步骤写：

1）计算迭代次数

图中约束条件（1）中包含$K$个1维LMI，(2)中包含$K$个$N_t+1$维SOC（ 为什么是$N_t\text{+}1$，看前文的SOC补充）, (3)中包含$K$个$N_t^2+1$维SOC，(4)中包含$K$个$N_t$维LMI。所以得
$\beta \text{=}\underset{LMI}{\underbrace{\sum _{j=1}^p{k}_j}}+\underset{\text{SOC}}{\underbrace{2m}}\text{=}\underset{LMI}{\underbrace{\sum _{j=1}^{\text{K}}1+\sum _{j=1}^{\text{K}}{N}_t}}+\underset{\text{SOC}}{\underbrace{2\times 2K}}=K(N_t+5)$,
所以得到迭代次数$\sqrt{\beta }\text{=}\sqrt{K(N_t+5)}$ 。

2）每次迭代的复杂度

需要优化的变量${\mathbf{S}}_i$,$x_i$,$y_i$,$i=1,...,K$,所以需要优化的元素总个数$K{N}_t^2+K\text{+}K$，所以$n\text{=}K{N}_t^2+K\text{+}K\text{=}\mathcal{O}(K{N}_t^2)$。
${\text{C}}_{form}\text{=}\underset{LMI}{\underbrace{n(\sum _{j=1}^{\text{K}}{1}^3+\sum _{j=1}^{\text{K}}{N}_t^3)}}+\underset{LMI}{\underbrace{n^2(\sum _{j=1}^{\text{K}}{1}^2+\sum _{j=1}^{\text{K}}{N}_t^2}}+\underset{\text{SOC}}{\underbrace{n(\sum _{j=1}^{\text{K}}{(N_t+1)}^2+\sum _{j=1}^{\text{K}}{(N_t^2+1)}^2)}}$
$\text{=}nK(1+N_t^3)+n^{2}K(1+N_t^2)+nK({(N_t+1)}^2+{(N_t^2+1)}^2)$
$=n\cdot [K(1+N_t^3)+nK(1+N_t^2)+K({(N_t+1)}^2+{(N_t^2+1)}^2)]$

$C_{fact}=n^3$
${\text{C}}_{form}+C_{fact}=n\cdot [K(1+N_t^3)+nK(1+N_t^2)+K({(N_t+1)}^2+{(N_t^2+1)}^2)+n^2]$

3）总计算复杂度表示

$\sqrt{K(N_t+5)}\cdot n\cdot [K(1+N_t^3)+nK(1+N_t^2)+K({(N_t+1)}^2+{(N_t^2+1)}^2)+n^2]$
Where $n\text{=}K{N}_t^2+K\text{+}K\text{=}\mathcal{O}(K{N}_t^2)$.

**最后，第一次写博客，码字不易，多谢支持！**