压缩感知的尽头: 原子范数最小化

前言

在之前的博客中，我们介绍了包括正交匹配追踪OMP、近似消息传递GAMP 等常见的压缩感知算法。 抛开复杂度不谈，对于压缩感知问题， 哪个算法拥有最佳的性能， 无疑是让人感兴趣的话题。 那么目前可以给出答案了： 压缩感知的尽头， 就是 原子范数最小化算法。 而其能在一众算法中登顶的原因也很简单： 它既是拥有优良凸优化性质的算法， 又没有精度的限制。 简单而言， 如果说 OMP 等在有限码本上选取码字的算法为 On-grid 类型。 那么 原子范数最小化算法，就是在无穷精度的范围内进行搜索， 即 Gridless 类型。 本文参考自 Zai Yang 博士的书 Sparse Methods for Direction-of-Arrival Estimation 第六章节。 因为笔者也是初次学习这一算法， 因此这篇博客更多是对原文的翻译。 后续如有机会， 希望给出自己更深入浅出的理解。

问题建模

首先，我们考虑的是通信中常见的 DOA 问题。 当然 原子范数最小化算法显然并不局限于这一种应用。 这只是一个生动的例子。 对于 $M$ 根接收天线而言， 接收数据可表示为：
$$Y=A(f)S+E$$
$Y\in {\mathbb{C}}^{M\times L}$， 其中 $L$ 代表接收时隙数， 也可以理解为观测次数。$\mathbf{A}(\mathbf{f})=\left[\mathbf{a}\left(f_1\right),\dots ,a\left(f_K\right)\right]\in {\mathbb{C}}^{M\times K}$， 其每一列对应第 $k$ 个源 (source) 的 DOA 对应的天线响应矢量， 其中 $\mathbf{a}(f)={\left[1,e^{i2\pi f},\dots ,e^{i2\pi (M-1)f}\right]}^T$, 这里 $f=\frac{1}{2}\cos \theta$. $E$ 是噪声, $S\in {\mathbb{C}}^{K\times L}$代表了这 $K$ 个源在 $L$ 个时隙的发射信号。

Toeplitz 矩阵的范德蒙德分解

在介绍原子范数之前，首先介绍一个非常有用的数学工具： 范德蒙德分解。 具体如下：

对于任意秩 $r\le N$ 的半正定的Toeplitz矩阵 $T(u)\in {\mathbb{C}}^{N\times N}$， 有如下的 $r$-原子范德蒙德分解：
$$T=\sum _{k=1}^r{p}_{k}a\left(f_k\right)a^H\left(f_k\right)=A(f)\mathrm{diag}(p)A^H(f),$$
当 $r<N$时， 该分解唯一 (unique)。

$T(u)$ 代表以 $u$ 作为矩阵的第一行， 然后其移位结果作为第二行…以此组成的Toeplitz矩阵。 原子范数的理论推导直接建立在这个分解之上。

DOA估计的一般框架

考虑 $L=1$ 即一次观测的简单场景， 表示为：
$$y=z+e$$
其中 $z=A(f)s$. 那么，我们一般可以以如下的优化问题为目标：
$$\underset{z}{\min }\mathcal{M}(z)\text{, subject to }{\Vert z-y\Vert }_2\le \eta$$
其中 $\mathcal{M}(z)$ 是选择的一种 指标 metric。 进一步地，通过引入惩罚系数，可将其改写为：
$$\underset{z}{\min }\lambda \mathcal{M}(z)+\frac{1}{2}{\Vert z-y\Vert }_2^2$$

而本文要重点介绍的， 就是以 原子范数 $\Vert z{\Vert }_{\mathcal{A}}$ 作为 $\mathcal{M}(z)$ 的方法。

${\ell }_0$-原子范数

我们首先介绍原子集如下：
A = { a ( f , ϕ ) = a ( f ) ϕ : f ∈ T , ϕ ∈ C , ∣ ϕ ∣ = 1 } \mathcal{A}=\{a(f, \phi)=a(f) \phi: f \in \mathbb{T}, \phi \in \mathbb{C},|\phi|=1\} A={a(f,ϕ)=a(f)ϕ:f∈T,ϕ∈C,∣ϕ∣=1}
这个集合可以理解为是类似于OMP方法中的字典， 但他是无限精度的， 因为 $f$ 可以是任意实数。$\varphi$ 是允许了一个初始相位的不同。 而根据 $z=A(f)s$， 显然 $z$ 是该原子集中 $k$ 个原子的线性组合。 而 ${\ell }_0$-原子范数， 就是指能组成 $z$ 的 最少所需原子数， 即：
$$\begin{array}{rl}\Vert z{\Vert }_{\mathcal{A},0}& =\underset{c_k,f_k,{\varphi }_k}{\inf }\left\{\mathcal{K}:z=\sum _{k=1}^{\mathcal{K}}a\left(f_k,{\varphi }_k\right)c_k,f_k\in \mathbb{T},\left|{\varphi }_k\right|=1,c_k>0\right\}\\ & =\underset{f_k,s_k}{\inf }\left\{\mathcal{K}:z=\sum _{k=1}^{\mathcal{K}}a\left(f_k\right)s_k,f_k\in \mathbb{T}\right\}\end{array}$$
因为我们的目的就是为了恢复出$A(f)$， 而$z$可以写成无数种 $\mathcal{A}$ 中原子线性组合的形式。 但只有对应所用原子数最少即对应最小 ${\ell }_0$-原子范数 时， 此时组成 $z$ 的原子才恰好对应待恢复的 $A(f)$。

因此， DOA估计旨在恢复 $A(f)$， 而这等价于最小化 $z$ 的 ${\ell }_0$-原子范数， 写作 $\Vert z{\Vert }_{\mathcal{A},0}$.

${\ell }_0$-原子范数 与 范德蒙德分解

然而 如何对于 $\Vert z{\Vert }_{\mathcal{A},0}$ 进行最小化，可以说是完全摸不着头脑。 这似乎比 ${\ell }_0$ 范数最小化更为抽象。 此时就是见证数学魅力的时刻。 我们考虑如下式子：
$$\left[\begin{array}{cc}x& z^H\\ z& T(u)\end{array}\right]\ge 0$$
$T(u)$ 的定义一如之前， 是一个由 $u$ 得到的Teoplitz 矩阵。 $x$ 则是一个待优化的变量。 这个约束隐含了如下的结论：

• $T(u)\ge 0$， 否则无法保证对于任何向量 $y$， 都有 $y^H\left[\begin{array}{cc}yx& z^H\\ z& T(u)\end{array}\right]y\ge 0$。
• $z$ 一定位于 $T(u)$ 的列空间中。 这个证明也在后面的证明章节中给出了。

由于 $T(u)\ge 0$， 因此 $T(u)$ 是一个半正定矩阵， 即存在 范德蒙德分解
$$T=\sum _{k=1}^r{p}_{k}a\left(f_k\right)a^H\left(f_k\right)=A(f)\mathrm{diag}(p)A^H(f),$$
其中 $r=rank(T(u))$。 而由于 $z$ 一定位于 $T(u)$ 的列空间中， 那么 $z$ 必能写为 $a\left(f_k\right)$ 的线性组合！ 这一点至关重要。 因为这引出了如下的结论：

最小化${\ell }_0$-原子范数等价于求解如下问题:
$$\underset{x,u}{\min }\mathrm{rank}(\mathbf{T}(\mathbf{u})),\text{ subject to }\left[\begin{array}{cc}x& z^H\\ z& T(u)\end{array}\right]\ge 0.$$

由于 $z$ 是 $T(u)$ 范德蒙德分解所得的 $r$个原子的线性组合。 当我们找到秩最小的 $r$ 时，也就找到了组成 $z$ 所需的最少原子数。 也就对应$z$ 的 ${\ell }_0$-原子范数最小化。 而对于这个转化后的问题， 如果 $u$ 被解出， 那么 $T(u)$ 也能得到， 那么对 $T(u)$ 进行范德蒙德分解， 也就获得了 $A(f)$。 然而美中不足的是， 这个目标函数并非凸函数， 也无法轻易求解。

原子范数

将${\ell }_0$-原子范数进行凸松弛， 得到的就是原子范数。 其定义如下：
$$\begin{array}{r}\Vert z{\Vert }_{\mathcal{A}}=\underset{f_k,s_k}{\inf }\left\{\sum _k\left|s_k\right|:z=\sum _{k}a\left(f_k\right)s_k,f_k\in \mathbb{T}\right\}.\end{array}$$
与 ${\ell }_0$-原子范数 的定义进行比较， 发现这和将传统的 ${\ell }_0$-范数 放缩为 ${\ell }_1$-范数 如出一辙。 然而， 如何最小化 $\Vert z{\Vert }_{\mathcal{A}}$ 看上去也非常困难。 此时， 再度利用 范德蒙德分解， 我们有如下精彩的结论：

最小化原子范数等价于求解如下问题:
$$\underset{x,u}{\min }\frac{1}{2}x+\frac{1}{2}{u}_1,\text{ subject to }\left[\begin{array}{cc}x& z^H\\ z& T(u)\end{array}\right]\ge 0.$$

• 注意到，这是一个凸问题。 首先目标函数显然是变量的仿射函数， 因此为凸（既凸且凹）。 限制条件也可以写为 变量的仿射函数形式。 因此也满足凸问题的限制条件（$f(x)\le 0$, $f(x)$为凸函数）。 （$X\ge 0$ 可以等价为 $y^{H}Xy\ge 0,\forall y$， 而对于每个 $y$， 都是关于 $X$ 的仿射变换。）
• $T(u)$ 的对角元素都是 $u_1$， 那么事实上 $u_1$ 就是 $\mathrm{t}\mathrm{r}(T(u))$! 而后者又被称为核函数， 也是 $rank(T(u))$的经典凸松弛。 这从另一个角度解释了 原子范数最小化 是 ${\ell }_0$原子范数最小化的凸松弛。

至此， 压缩感知问题被转化为了一个可以由CVX进行直接求解的凸问题！ 还剩的最后一块拼图：即为何原子范数可以等效为这个凸问题， 仍照例，放在下面的证明章节中。

多维原子范数

将原子范数拓展到多维是十分必要的， 因为通信中DOA估计大多是多次观测。 然而其结论大体相似。 此时，变量变为二维矩阵 $Z$， 而其 ${\ell }_0$-原子范数被定义为：
$$\begin{array}{rl}\Vert Z{\Vert }_{\mathcal{A},0}& =\underset{c_k,f_k,{\varphi }_k}{\inf }\left\{\mathcal{K}:Z=\sum _{k=1}^{\mathcal{K}}a\left(f_k,{\varphi }_k\right)c_k,f_k\in \mathbb{T},{\Vert {\varphi }_k\Vert }_2=1,c_k>0\right\}\\ & =\underset{f_k,s_k}{\inf }\left\{\mathcal{K}:Z=\sum _{k=1}^{\mathcal{K}}a\left(f_k\right)s_k,f_k\in \mathbb{T}\right\}\end{array}$$
其中，
$$a\left(f_k,{\varphi }_k\right)=a\left(f_k\right){\varphi }_k:f_k\in \mathbb{T},{\varphi }_k\in {\mathbb{C}}^{1\times L},{\Vert {\varphi }_k\Vert }_2=1$$
注意到， 这和向量 $z$ 的 原子范数的最大区别在于标量 ${\varphi }_k$ ($s_k$)变为了行向量。 类似的， 对其的凸松弛的原子范数，定义为：
∥ Z ∥ A = inf ⁡ { t > 0 : Z ∈ tconv ⁡ ( A ) } = inf ⁡ c k , f k , ϕ k { ∑ k c k : Z = ∑ k a ( f k , ϕ k ) c k , f k ∈ T , ∥ ϕ k ∥ 2 = 1 , c k > 0 } = inf ⁡ f k , s k { ∑ k ∥ s k ∥ 2 : Z = ∑ k a ( f k ) s k , f k ∈ T } \begin{aligned} \|Z\|_{\mathcal{A}} &=\inf \{t>0: Z \in \operatorname{tconv}(\mathcal{A})\} \\ &=\inf _{c_{k}, f_{k}, \phi_{k}}\left\{\sum_{k} c_{k}: Z=\sum_{k} a\left(f_{k}, \phi_{k}\right) c_{k}, f_{k} \in \mathbb{T},\left\|\phi_{k}\right\|_{2}=1, c_{k}>0\right\} \\ &=\inf _{f_{k}, s_{k}}\left\{\sum_{k}\left\|s_{k}\right\|_{2}: Z=\sum_{k} a\left(f_{k}\right) s_{k}, f_{k} \in \mathbb{T}\right\} \end{aligned} ∥Z∥A​​=inf{t>0:Z∈tconv(A)}=ck​,fk​,ϕk​inf​{k∑​ck​:Z=k∑​a(fk​,ϕk​)ck​,fk​∈T,∥ϕk​∥2​=1,ck​>0}=fk​,sk​inf​{k∑​∥sk​∥2​:Z=k∑​a(fk​)sk​,fk​∈T}​
而对其的最小化， 仍可以等价为如下SDP问题：
$$\underset{X,u}{\min }\frac{1}{2\sqrt{N}}[\mathrm{Tr}(\mathbf{X})+\mathrm{Tr}(\mathbf{T}(\mathbf{u}))],\text{ subject to }\left[\begin{array}{cc}X& Z^H\\ Z& T(u)\end{array}\right]\ge 0$$
照例， 其证明放在后续证明章节。

证明

范德蒙德分解的证明

由于 $T⪰0$ (半正定的要求)， 因此有 $T=V{V}^H$ (可以通过特征分解得到)， 其中 $V\in {\mathbb{C}}^{N\times r}$。 然后，根据Toeplitz矩阵的结构。 如果我们用 $V_{-N}$ 和 $V_{-1}$ 分别代表 $V$ 矩阵去掉最后一行和第一行的结果， 根据简单的块矩阵乘法， 我们可以发现， ${\mathbf{V}}_{-N}{\mathbf{V}}_{-N}^H={\mathbf{V}}_{-1}{\mathbf{V}}_{-1}^H$。 那么，当$N-1\ge r$ 时， 必存在正交矩阵 $Q$， 使得${\mathbf{V}}_{-1}={\mathbf{V}}_{-N}\mathbf{Q}$。 这一结论的证明可见下节， 为不影响思路的进展我们先继续。 令 $V_j$ 代表 $V$ 的第 $j$ 行， 可知： ${\mathbf{V}}_j={\mathbf{V}}_1{Q}^{j-1},j=2,\dots ,N$ 因此有：
$$u_j={\mathbf{V}}_1{Q}^{1-j}{\mathbf{V}}_1^H,j=1,\dots ,N\text{\hspace{1em}(1)}$$
其中 $u_j$ 是 $u$ 的 第 $j$ 个 元素。 对 $Q$ 进行特征分解， 有：
$$Q=\tilde{Q}\mathrm{diag}\left(z_1,\dots ,z_r\right){\tilde{Q}}^H$$
注意到， 由于$Q$ 是正交矩阵， 其特征值 $z_k$ 必满足 $z_k^{\ast }{z}_k=1$。 可以显然地由 $Q{Q}^H=I$得证。 因此， 我们可以把 $z_k$ 写为 $z_k=e^{i2\pi f_k}$， 因为它必定是一个恒模的复数， 所以一定存在这样的$f_k$。 再注意到：$Q^N=\tilde{Q}\mathrm{diag}{\left(z_1,\dots ,z_r\right)}^N{\tilde{Q}}^H$ 对于任意正整数$N$， 因为 $\tilde{Q}$ 也是正交阵。 我们令 $p_k={\left|{\mathbf{V}}_1{\tilde{\mathbf{Q}}}_{:k}\right|}^2$， 代入 (1) 中， 得到:
$$u_j=\sum _{k=1}^r{p}_k{e}^{-i2\pi (j-1)f_k}$$
而这， 就对应了范德蒙德分解。 证毕。
至此，还可以发现， $f_k$ 必须是不同的， 否则$A(f)$ 中将有相同的列， 那么也无法满足 $rank(T)=r$的条件了。
我们现已证明了 $r\le N-1$ 场景下的范德蒙德分解的可行性。 我们再证明其分解的唯一性。
通过反证法， 若存在 另一组分解 $T=A\left(f^{\prime }\right)P^{\prime }{A}^H\left(f^{\prime }\right)$， 即：
$$\mathbf{A}\left({\mathbf{f}}^{\prime }\right){\mathbf{P}}^{\prime }{\mathbf{A}}^H\left({\mathbf{f}}^{\prime }\right)=\mathbf{A}(\mathbf{f}){\mathbf{P}\mathbf{A}}^H(\mathbf{f})$$
类似地可证明， 存在 $A\left(f^{\prime }\right)P^{\prime \frac{1}{2}}=A(f)P^{\frac{1}{2}}{Q}^{\prime }$， 其中 $Q^{\prime }$ 为正交矩阵。 因此
$$\mathbf{A}\left({\mathbf{f}}^{\prime }\right)=\mathbf{A}(\mathbf{f}){\mathbf{P}}^{\frac{1}{2}}{Q}^{\prime }{\mathbf{P}}^{\prime -\frac{1}{2}}$$
也就是说， $a\left(f_j^{\prime }\right)$ 是$a\left(f_j\right)$的线性组合。 此时，注意到一个性质： 任意 $N$个$a\left(f_k\right)$之间线性独立。 也就是说， 因为$r\le N-1$, 因此$a(f_j^{\prime })$ 可以和 $r$ 个$a(f_j)$ 组成不超过$N$个$a$，那么他们之间必定相互线性独立， 即前者不可能写为后者的线性组合。 因此矛盾。

最后，对于$r=N$的情况下， 范德蒙德分解成立但不唯一。 证明思路类似，这里略去。

正交矩阵结论的证明

上一节的证明中， 用有这个结论: $\mathbf{X}{\mathbf{X}}^H=\mathbf{Y}{\mathbf{Y}}^H$ 其中$X,Y\in {\mathbb{C}}^{m,n}$, $m\ge n$。 那么， 必存在正交矩阵 $Q$， 使得$\mathbf{X}=\mathbf{Y}\mathbf{Q}$。

首先我们有：
$$X=Y{Y}^{H}X(X^{H}X{)}^{-1}$$
记$Q=Y^{H}X(X^{H}X{)}^{-1}$， 即 $X=YQ$。 则有：
$$YQ{Q}^H{Y}^H=Y{Y}^H\Rightarrow YQ{Q}^H=Y\Rightarrow Q{Q}^H=I$$
因此 $Q$ 为正交矩阵.

$z$存在于列空间的证明

当 $\left[\begin{array}{cc}x& z^H\\ z& T(u)\end{array}\right]\ge 0$成立时， $z$ 位于 $T(u)$的列空间中。

当$T(u)$ 满秩时， 直接成立。 当$T(u)$ 不满秩时，

注意到：
$$\begin{gathered} \left[\begin{array}{cc}x& z^H\\ z& T(u)\end{array}\right]\ge 0⟺[ty{]}^H\left[\begin{array}{cc}x& z^H\\ z& T(u)\end{array}\right]\left[\begin{array}{l}t\\ y\end{array}\right]\ge 0,\forall t,y \\ \Rightarrow t^{H}xt+y^{H}zt+t^H{z}^{H}y+y^{H}T(u)y\ge 0 \end{gathered}$$

此时， 取 $y$ 位于 $T(u)$ 的零空间中。 则上式进一步变为：
$$t^{\ast }xt+y^{H}zt+t^{\ast }{z}^{H}y\ge 0$$
若$z$不位于$T(u)$的列空间中， 即 $a=y^{H}z\ne 0$, 则：
$$t^{\ast }xt+at+t^H{a}^{\ast }\ge 0$$
取 $t=-\frac{a^{\ast }}{x}$，有：
$$\frac{a{a}^{\ast }}{x^{\ast }}-\frac{a{a}^{\ast }}{x^{\ast }}-\frac{a{a}^{\ast }}{x^{\ast }}\ge 0$$
由于$x$必为非负实数（取$t=1,y=0$）， 所以上式显然不成立， 矛盾。
得证。

原子范数最小化的等价性证明

记 等价凸问题的目标函数 $F=\frac{1}{2}x+\frac{1}{2}{u}_1$, 先证明： $F\le \Vert z{\Vert }_{\mathcal{A}}$。 取$z={\sum }_k{c}_{k}a\left(f_k,{\varphi }_k\right)={\sum }_{k}a\left(f_k\right)s_k$， 令 $\mathbf{T}(\mathbf{u})={\sum }_k{c}_k\mathbf{a}\left(f_k\right){\mathbf{a}}^H\left(f_k\right)$ 和 $x={\sum }_k{c}_k$，有：
$$\left[\begin{array}{cc}x& z^H\\ z& T\end{array}\right]=\sum _k{c}_k\left[\begin{array}{c}{\varphi }_k^{\ast }\\ a\left(f_k\right)\end{array}\right]{\left[\begin{array}{c}{\varphi }_k^{\ast }\\ a\left(f_k\right)\end{array}\right]}^H\ge 0$$
因此 $T$ 和 $x$ 是一组可行解。 那么其必然不小于最优解。而这组可行解对应的目标函数为：
$$\frac{1}{2}x+\frac{1}{2}{u}_1=\sum _k{c}_k$$
因此， $F^{\star }\le \Vert z{\Vert }_{\mathcal{A}}$。
再证明 $F^{\star }\ge \Vert z{\Vert }_{\mathcal{A}}$。 设凸问题的最优解为 $(\hat{x},\hat{u})$， 对$T(\hat{u})$ 进行范德蒙德分解， 得到参数 $\left(\hat{r},{\hat{p}}_k,{\hat{f}}_k\right)$。 根据之前的分析， $z$ 必然在 $T(\hat{u})$ 的列空间中， 即：
$$z=\sum _{k=1}^{\hat{r}}{\hat{c}}_{k}a\left({\hat{f}}_k,{\hat{\varphi }}_k\right)=\sum _{k=1}^{\hat{r}}a\left({\hat{f}}_k\right){\hat{s}}_k$$
进一步地， 根据Schur补条件 https://zhuyulab.blog.csdn.net/article/details/121942523， $\left[\begin{array}{cc}x& z^H\\ z& T(u)\end{array}\right]\ge 0$ 等价于：
$$\hat{x}\ge z^H[\mathbf{T}(\hat{\mathbf{u}}){]}^{†}\mathbf{z}=\sum _{k=1}^{\hat{r}}\frac{{\hat{c}}_k^2}{{\hat{p}}_k}$$
而 ${\hat{u}}_1={\sum }_{k=1}^{\hat{r}}{\hat{p}}_k$， 因此
$$\begin{array}{rl}F& =\frac{1}{2}\hat{x}+\frac{1}{2}{\hat{u}}_1\\ & \ge \frac{1}{2}\sum _k\frac{{\hat{c}}_k^2}{{\hat{p}}_k}+\frac{1}{2}\sum _k{\hat{p}}_k\\ & \ge \sum _k{\hat{c}}_k\\ & \ge \Vert z{\Vert }_{\mathcal{A}}.\end{array}$$
第一个不等号来自于Schur补条件。 第二个不等号来自于$\frac{1}{x}+x$的最大化问题。第三个不等式来自于 $\Vert z{\Vert }_{\mathcal{A}}$的定义， 即所有线性分解中，${\sum }_k{c}_k$的最小值。
至此， 得证， $F^{\star }=\Vert z{\Vert }_{\mathcal{A}}$.

多维原子范数最小化的等价性证明

记 等价凸问题的目标函数 $F=\frac{1}{2\sqrt{N}}[\mathrm{Tr}(\mathbf{X})+\mathrm{Tr}(\mathbf{T}(\mathbf{u}))]$。 取$z={\sum }_k{c}_{k}a\left(f_k,{\varphi }_k\right)={\sum }_{k}a\left(f_k\right)s_k$， 令 $\mathbf{T}(\mathbf{u})=\frac{1}{\sqrt{N}}{\sum }_k{c}_k\mathbf{a}\left(f_k\right){\mathbf{a}}^H\left(f_k\right)$ 和 $X=\sqrt{N}{\sum }_k{c}_k{\varphi }_k^H{\varphi }_k$，有：
$$\left[\begin{array}{cc}x& z^H\\ z& T\end{array}\right]=\sum _k{c}_k\left[\begin{array}{c}{N}^{\frac{1}{4}}{\varphi }_k^H\\ N^{-\frac{1}{4}}a\left(f_k\right)\end{array}\right]{\left[\begin{array}{c}{N}^{\frac{1}{4}}{\varphi }_k^H\\ N^{-\frac{1}{4}}a\left(f_k\right)\end{array}\right]}^H\ge 0$$
因此 $T$ 和 $X$ 是一组可行解。 那么其必然不小于最优解。根据定义， 有 ${\varphi }_k{\varphi }_k^H=1$， 那么， 这组可行解对应的目标函数为：
$$F=\frac{1}{2\sqrt{N}}[\mathrm{Tr}(\mathbf{X})+\mathrm{Tr}(\mathbf{T}(\mathbf{u}))]=\sum _k{c}_k=\Vert z{\Vert }_{\mathcal{A}}$$
因此， $F^{\star }\le \Vert z{\Vert }_{\mathcal{A}}$。
再证明 $F^{\star }\ge \Vert z{\Vert }_{\mathcal{A}}$。 设凸问题的最优解为 $(\hat{X},\hat{T})$， 对$\hat{T}$ 进行范德蒙德分解， 得到参数 $\left(\hat{r},{\hat{p}}_k,{\hat{f}}_k\right)$。 根据之前的分析， $Z$ 必然在 $\hat{T}$ 的列空间中， 即：
$$Z=\sum _{k=1}^{\hat{r}}{\hat{c}}_{k}a\left({\hat{f}}_k,{\hat{\varphi }}_k\right)=\sum _{k=1}^{\hat{r}}a\left({\hat{f}}_k\right){\hat{s}}_k$$
进一步地， 根据Schur补条件 https://zhuyulab.blog.csdn.net/article/details/121942523， $\left[\begin{array}{cc}X& Z^H\\ Z& T\end{array}\right]\ge 0$ 等价于：
$$\hat{X}-Z^H{\hat{T}}^{†}\mathbf{Z}\ge 0$$
而根据半正定矩阵的定义， 其特征值均非负。 因此一定有：
$$\mathrm{t}\mathrm{r}(\hat{X}-Z^H{\hat{T}}^{†}\mathbf{Z})\ge 0\Rightarrow \mathrm{t}\mathrm{r}(\hat{X})\ge \mathrm{t}\mathrm{r}(Z^H{\hat{T}}^{†}\mathbf{Z})=\sum _{k=1}^{\hat{r}}\frac{{\hat{c}}_k^2}{{\hat{p}}_k}$$
而 $\mathrm{t}\mathrm{r}(\hat{T})=N{\sum }_{k=1}^{\hat{r}}{\hat{p}}_k$， 因此
$$\begin{array}{rl}F& =\frac{1}{2\sqrt{N}}[\mathrm{Tr}(\mathbf{X})+\mathrm{Tr}(\mathbf{T}(\mathbf{u}))]\\ & \ge \frac{1}{2\sqrt{N}}[\sum _k\frac{{\hat{c}}_k^2}{{\hat{p}}_k}+N\sum _k{\hat{p}}_k]\\ & \ge \sum _k{\hat{c}}_k\\ & \ge \Vert Z{\Vert }_{\mathcal{A}}.\end{array}$$
第一个不等号来自于Schur补条件。 第二个不等号来自于$\frac{1}{x}+x$的最大化问题。第三个不等式来自于 $\Vert z{\Vert }_{\mathcal{A}}$的定义， 即所有线性分解中，${\sum }_k{c}_k$的最小值。
至此， 得证， $F^{\star }=\Vert Z{\Vert }_{\mathcal{A}}$.

结语

本文旨在先介绍原子范数的中心思想， 对其的具体使用和相关代码， 留待后续的博客进行介绍。