SDP半正定规划的低复杂度求解：基于块坐标下降（Block Coordinate Descent）

前言

之前的几篇博客 经典的SDR算法： 用半正定松弛法 ( Semidefinite Relaxation) 求解二次优化问题 和 经典的SDR算法（下）：SDR的具体使用细节与相关代码 中介绍了一种行之有效的 QCQP问题的求解方法。 这其中， SDP 半正定规划 是 无可避免的必由之路。 然而，传统的CVX求解方法， 如内点法等， 其复杂度为 $O\left(n^{3.5}\log (1/ϵ)\right)$， 其中 $n$ 为变量维度， $ϵ$ 为目标精度。 可以看出， 这在现有算法中，绝不能算是低复杂度的算法。 而 SDR 本身的性能又是次优的， 这就令其实际应用显得非常尴尬。 这篇博客， 笔者希望介绍一种 基于 块坐标下降方法的 SDP 求解算法， 旨在降低计算复杂度。

主要参考文章为：《PHASE RECOVERY, MAXCUT AND COMPLEX SEMIDEFINITE PROGRAMMING》

块坐标下降

对于 块坐标下降法， 其实可以简单地理解为大型的交替优化——固定一些变量而优化另一些变量。 对于 SDP问题， 我们先给出典型的问题形式如下：

$$\begin{array}{ll}\mathrm{minimize}& \mathrm{Tr}(UM)\\ \text{ subject to }& U⪰0\end{array}$$
这个限制条件非常棘手。 因此， 我们将其转化为如下的无约束问题：
$$\text{ minimize }\mathrm{Tr}(UM)-\mu \log \det (U)\text{\hspace{1em}(1)}$$
其中 $\mu >0$ 为 障碍系数。 这是基于内点法的思想：通过在目标函数中加入障碍函数，从而自然地限制解在可行集中。 注意到， 原可行集 $U⪰0$ 等效为： $U$的所有特征值$u_1,\cdots ,u_n$非负。 又根据行列式的性质，有：
$$\mathrm{d}\mathrm{e}\mathrm{t}(U)={\Pi }_{i=1}^n{u}_i$$，
即有：
$$\log \det (U)=\sum _{i=1}^n\mathrm{l}\mathrm{o}\mathrm{g}(u_i).$$
而根据$\mathrm{l}\mathrm{o}\mathrm{g}$的定义域， 可知，这个障碍函数隐含了所有特征值非负的条件。 接下来，对问题进行拆解来降低求解的复杂度。 注意到存在如下等式：
$$\det (U)=\det (B)\det \left(y-x^T{B}^{-1}x\right)\text{\hspace{1em}(2)}$$
其中
$$U=\left(\begin{array}{cc}B& x\\ x^T& y\end{array}\right)\text{\hspace{1em}(3)}$$
（注意， $U$是共轭对称矩阵， 否则特征值可能为虚数， 因此，$U$必能写成上式的形式）。 (2) 的证明放在后面的附录中， 我们先继续往下： 这样转化的目的非常明确， 我们每次优化 $U$ 中的部分变量即 $x$。那么（2）已经把障碍函数中和$x$相关的项提取出来了，即 $\det \left(y-x^T{B}^{-1}x\right)$。 经此， 事实上(1)中与$x$有关的部分，可以体现为如下的优化问题：
$$\underset{x}{\min }{c}^{T}x-\mu \log \left(1-x^T{B}^{-1}x\right)$$
而这个问题是一个凸函数的最小化问题——$\mathrm{l}\mathrm{o}\mathrm{g}(x)$为非减的凹函数， $1-x^T{B}^{-1}x$ 为凹函数， 那么根据复合函数的结论 https://zhuyulab.blog.csdn.net/article/details/121102961， 可知 $\log \left(1-x^T{B}^{-1}x\right)$ 为凹。 那么 $x$ 的最优解可以直接由一阶条件给出， 即目标函数对 $x$ 求导为0， 即：
$$c+\frac{2\mu }{1-x^T{B}^{-1}x}{B}^{-1}x=0$$
那么 $x$ 的形式为 $x=\alpha Bc$ （否则右边不为0）, 其中 $\alpha$ 为待定常数。 代入得：
$$c+\frac{2\mu \alpha }{1-{\alpha }^2{c}^{T}Bc}c=0\Rightarrow \frac{2\mu \alpha }{1-{\alpha }^2{c}^{T}Bc}=-1\Rightarrow {\alpha }^2{c}^{T}Bc-2\mu \alpha -1=0$$
令 $\gamma =c^{T}Bc$, 由一元二次方程根可知，
$$\alpha =\frac{\mu -\sqrt{\mu +\gamma }}{\gamma }$$
这里需要指出， 为什么不取另一个解 $\alpha =\frac{\mu +\sqrt{\mu +\gamma }}{\gamma }$ 呢？ 这是因为， 我们必须满足 $1-x^T{B}^{-1}x>0$。 至此， $x$ 的 闭式解为：
$$x=\frac{\mu -\sqrt{\mu +\gamma }}{\gamma }Bc\text{\hspace{1em}(4)}$$。

至此 对于 问题（1） 中的优化， 我们可以对其每一列（事实上是每一列去掉一个元素， 以契合(3)中$x$的形式）元素进行依次优化，来求解 SDP问题。

最后给出伪代码：

不得不说有点抽象， 我简单解释一下： 这里 $X$ 就是 (1) 中的变量 $U$。 $i_c$即列索引中去掉$i$后的集合。 如$X_{i^c,i^c}^k$ 就是指把 $X$ 矩阵的第$i$行第$i$列去除后的结果。 $X_{i^c,i}$ 其实就对应 每次的优化变量 $x$。 step 4 的结果可以看做是 (4) 的 简化形式。

证明：

$$\det (U)=\det (B)\det \left(y-x^T{B}^{-1}x\right)$$

根据分块矩阵乘法，有：
$$\begin{array}{rl}\det \left[\begin{array}{ll}\mathbf{A}& \mathbf{B}\\ \mathbf{C}& \mathbf{D}\end{array}\right]& =\det \left(\left[\begin{array}{cc}\mathbf{A}& \mathbf{O}\\ \mathbf{C}& \mathbf{D}-\mathbf{C}{\mathbf{A}}^{-1}\mathbf{B}\end{array}\right]\left[\begin{array}{cc}\mathbf{I}& {\mathbf{A}}^{-1}\mathbf{B}\\ \mathbf{O}& \mathbf{I}\end{array}\right]\right)\\ & =\det (\mathbf{A})\cdot \det \left(\mathbf{D}-{\mathbf{C}\mathbf{A}}^{-1}\mathbf{B}\right)\end{array}$$
得证。