压缩感知：理论与应用（一）

本文主要摘自：Gitta Kutyniok, Compressed Sensing: Theory and Applications, March 12, 2012.

摘要

  压缩感知是2006年新引入的研究领域，从那时起已经成为应用数学、计算机科学和电气工程等领域的重要概念。它出人意料地预测到，通过使用有效的算法，可以从以前被认为是高度不完整的线性测量中恢复出高维信号，只要这种高维信号能够以适当的基（或frame）来进行稀疏表示。本文将作为对压缩感知进行介绍和综述。

1、概述

  压缩感知的研究起源于2006年Donoho[18]和Cand´es, Romberg, Tao[11]这两篇突破性论文。如今，在仅仅6年之后，已经有1000多篇文章探讨了大量的压缩感知理论。此外，这种方法被广泛应用于天文学、生物学、医学、雷达和地震学等领域。

[18] D. L. Donoho. Compressed sensing. IEEE Trans. Inform. Theory, 52:1289–1306, 2006.
[11] E. Cand`es, J. Romberg, and T. Tao. Robust uncertainty principles: Exact signal reconstruction from highly incomplete Fourier information. IEEE Trans. Inform. Theory,
52:489-509, 2006.

  压缩感知的关键思想是通过凸优化从很少的非自适应的线性测量中恢复稀疏信号。换个角度，与高维稀疏向量经过降维后的精确恢复相关。再换个角度，我们可以把这个问题看作是，计算一个信号相对于一个超完备系统的稀疏系数向量。压缩感知的理论基础与其它应用领域的方法有联系，如应用谐波分析、frame理论、几何泛函分析、数值线性代数、最优化理论和随机矩阵理论等。
  有趣的是，关于稀疏恢复问题的研究，实际上可以追溯到90年代早期的论文，如[24]，以及后来著名的Donoho与Huo的论文[21]以及Donoho与Elad的论文[19]。当前面提到的两篇介绍压缩感知的基础论文发表时，术语“压缩感知”最初用于随机感知矩阵，因为这些矩阵允许最小数量的非自适应的线性测量。目前，“压缩感知”这一术语与“稀疏恢复”这一术语的通用互换性越来越高，这也是我们在本文中将采用的观点。

[19] D. L. Donoho and M. Elad. Optimally sparse representation in general (nonorthogonal) dictionaries via $l^1$ minimization, Proc. Natl. Acad. Sci. USA, 100:2197–2202, 2003.
[21] D. L. Donoho and X. Huo. Uncertainty principles and ideal atomic decomposition. IEEE Trans. Inform. Theory, 47:2845–2862, 2001.
[24] D. L. Donoho and P. B. Starck. Uncertainty principles and signal recovery. SIAM J.Appl. Math., 49:906–931, 1989.

1.1 压缩感知问题

  为了精确地描述这个问题，令$\mathbf{x}=(x_i{)}_{i=1}^n\in {\mathbb{R}}^n$为有用信号。作为先验信息，我们或者假定$\mathbf{x}$本身为稀疏的，这意味着它只有很少的非零系数，即
∣ ∣ x ∣ ∣ 0 : = # { i : x i = ̸ 0 } ||{\bf x}||_0:=\#\{ i:{x_i} { = \not } 0 \} ∣∣x∣∣0​:=#{i:xi​≠​0}很小；或者假定存在一个标准正交基（或frame）$\Phi$使得$\mathbf{x}=\Phi \mathbf{c}$，这里$\mathbf{c}$为稀疏的。对于后者，我们假设$\Phi$是以正交基或frame的元素作为列向量的矩阵。事实上，frame由于具有冗余因而提供了比标准正交基更多的灵活性，也因此改进了稀疏特性，故frame比标准正交基更常用。有时稀疏性的概念被弱化了，在我们在第2节中对此进行精确说明之前，我们姑且将其称为近似稀疏。进一步，假设$\mathbf{A}$是$m\times n$矩阵，通常称为感知矩阵或测量矩阵。本文中，即使没有明确提及，我们也总是假设$m<n$且$\mathbf{A}$的所有列都不为零。
  因此压缩感知问题可以描述如下：从知识（knowledge）
$$\mathbf{y}=\mathbf{A}\mathbf{x}$$中恢复$\mathbf{x}$，或者从知识(knowledge)$$\mathbf{y}=\mathbf{A}\mathbf{\Phi }\mathbf{c}$$中恢复$\mathbf{c}$。在这两种情况下，我们都面临着一个不确定的线性方程组，其稀疏性是要恢复向量的先验信息。这引出如下问题：

• 用什么样的模型来描述信号和稀疏性是恰当的？
• 合适的感知矩阵是什么样的？
• 如何根据算法恢复信号？
• 信号恢复的时间和精度如何？
    在本节中，我们将对这些问题进行简要讨论，作为后续章节的基础。

1.2 稀疏性：是否为合理假设？

  作为第一个考虑，人们可能会质疑稀疏性是否确实是一个合理的假设。由于真实数据的复杂性，当然只有启发式的答案是可能的。
  如果取一幅自然图像，众所周知，小波通常提供稀疏近似[45]。可以清楚地看到，大多数系数在绝对值上都很小，用较深的颜色表示。
  根据信号的不同，可以使用各种表示系统来提供稀疏近似值，并不断扩展。事实上，最近的研究表明，小波系统并不能提供大多数自然图像的最佳稀疏近似值，但新型的shearlets系统却能做到这一点[42，41]。因此，假设对要被感知或压缩的信号有一些先知，通常来说，已具备了分析良好的表示系统。如果不是这样的话，可以使用更多的数据敏感方法，例如字典学习算法，该算法针对给定的测试信号集，计算合适的表示系统。

[45]S. G. Mallat. A wavelet tour of signal processing. Academic Press, Inc., San Diego, CA, 1998.
[42]G. Kutyniok and W.-Q Lim. Compactly supported shearlets are optimally sparse. J. Approx. Theory, 163:1564–1589, 2011.
[41]G. Kutyniok and D. Labate. Shearlets: Multiscale Analysis for Multivariate Data. Birkh¨auser, Boston, 2012.

  基于已有应用，$\mathbf{x}$通常本身已经是稀疏的。例如在数字通信中，对具有$n$根天线和$m$个用户的蜂窝网络建模时，或者在基因组学研究中，用$n$名患者的$m$个基因进行试验。在第一种情况下，很少的用户在特定的时间内有持续的呼叫；在第二种情况下，很少的基因是实际活跃的。因此，$\mathbf{x}$稀疏本身也是一个非常自然的假设。
  在压缩感知文献中，大多数的结果事实上都假设$\mathbf{x}$本身是稀疏的，并考虑$\mathbf{y}=\mathbf{A}\mathbf{x}$。很少量的文章研究了合并稀疏正交基或frame的问题[55，9]。本文中也将考虑$\mathbf{x}$本身为稀疏的。应该强调的是，“精确”的稀疏性往往过于严格或不自然，需要考虑到减弱的稀疏性概念。另一方面，有时，例如小波系数的树结构，非零系数的一些结构信息是已知的，这导致了不同的结构化稀疏模型。第2部分对这类模型进行了综述。

1.3 恢复算法：优化理论及其它

  令$\mathbf{x}$为稀疏向量，显然，我们可以通过解优化问题
$$(P_0)\underset{\mathbf{x}}{\min }||\mathbf{x}|{|}_0\mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}\mathbf{y}=\mathbf{A}\mathbf{x}.$$来从$\mathbf{y}$中恢复$\mathbf{x}$.
  由于不可避免的组合搜索，该算法是NP难[48]。基础论文[14]中的主要思想是将${\ell }_0$范数用最接近的凸范数来替换，即${\ell }_1$范数。由此引出下面的最小化问题，即基追踪：
$$(P_1)\underset{x}{\min }||\mathbf{x}|{|}_1\mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}\mathbf{y}=\mathbf{A}\mathbf{x}.$$.  由于${\ell }_1$球的形状，${\ell }_1$最小化确实促进了稀疏性。何时“${\ell }_0={\ell }_1$”成立是压缩感知的关键。提供了充分必要条件，这不仅取决于原始矢量$\mathbf{x}$的稀疏性，还取决于感知矩阵$\mathbf{A}$的不相干性，这将在第3部分进行精确说明。
  由于对于非常大的数据集，即使当求解器与压缩感知问题特殊结构相适应时${\ell }_1$最小化也通常是不可行的，因而提出了各种其他类型的恢复算法。这些算法可以大致分为凸优化算法、贪婪算法和组合算法（参见第5节），每种算法都有各自的优缺点。

1.4 感知矩阵：允许多少自由度？

  如前所述，感知矩阵需要满足某些特定的松散的条件，例如，一个小的所谓互相干。如果允许我们自由选择感知矩阵，最好的选择是随机矩阵，如高斯iid矩阵、均匀随机正交投影或伯努利矩阵，请参见示例[11]。

[11]E. Cand`es, J. Romberg, and T. Tao. Robust uncertainty principles: Exact signal recon- struction from highly incomplete Fourier information. IEEE Trans. Inform. Theory, 52:489-509, 2006.

  关于是否能够通过精心构造使得确定性矩阵具有相似特性，这仍然是一个悬而未决的问题（更多细节见第4节）。目前，Rauhut等人正在采取不同的方法来解决这个问题，例如[53]或[54]中的结构化随机矩阵。此外，大多数应用不允许自由选择感知矩阵并强制使用特殊结构的矩阵。典型情况是数据分离，这是感知矩阵必须由两个或多个正交基或帧组成[32,第11章]，或者对于高分辨率雷达，感知矩阵必须具有特定的时频结构[36]。

[53]G. Pfander, H. Rauhut, and J. Tropp. The restricted isometry property for time- frequency structured random matrices. Preprint, 2011.
[54]H. Rauhut, J. Romberg, and J. Tropp. Restricted isometries for partial random circu- lant matrices. Appl. Comput. Harmonic Anal., 32:242–254, 2012.
[32]Y. C. Eldar and G. Kutyniok. Compressed Sensing: Theory and Applications. Cam- bridge University Press, 2012.
[36]M. Herman and T. Strohmer. High Resolution Radar via Compressed Sensing. IEEE Trans. Signal Proc., 57:2275–2284, 2009.

1.5 压缩感知：Quo Vadis?

  目前，除了一些深层次的问题，如具有与随机矩阵相似性质的确定性感知矩阵的构造外，还建立了核心理论。
  目前可以用现有的各种结果来确定的一个主要研究方向，就是加入了额外的稀疏特性可以产生结构化的稀疏性，参见第2部分。另一个主要方向是将压缩感知问题扩展或转换为其它问题，例如matrix compltion，请参见[10]。此外，我们目前正在见证压缩感知思想向各种应用领域（如雷达分析、医学成像、分布式信号处理和数据量化）的扩散；请参见[32]了解概述。这些应用所需的约束条件，对该领域提出了有趣的挑战，从而反过来引发了新的理论问题。最后，我们观察到，由于特别是快速稀疏恢复算法的需要，即与来自其他研究领域的数学家（如优化理论家、数值线性代数学家或随机矩阵理论家）更密切地合作成为趋势。

[30]M. Elad and A. M. Bruckstein. A generalized uncertainty principle and sparse repre- sentation in pairs of bases. IEEE Trans. Inform. Theory, 48:2558–2567, 2002.
[32]Y. C. Eldar and G. Kutyniok. Compressed Sensing: Theory and Applications. Cam- bridge University Press, 2012.

  最新研究方向的三个例子描述如下。首先，虽然压缩感知理论的重点是数字化的数据，但有必要发展一个类似的关于连续量的理论。到目前为止最又希望的两种方法是Eldar等人的[47]和Hansen等人的[1]。第二，与将合成系数的${\ell }_1$范数最小化的基追踪方法相比，其它几种方法，如缺失数据恢复方法，是将分析系数的${\ell }_1$范数最小化，而不是将合成系数的${\ell }_1$范数最小化(见第6.1.2和6.2.2小节)。这两个最小化问题之间的关系还很不清楚，最近引入的共稀疏概念[49]是一种很有意思的方法。第三，在压缩感知的背景下，利用frame作为稀疏化系统已成为越来越受关注的话题，我们参考了最初的论文[9]。

[47]M. Mishali, Y. C. Eldar, and A. Elron. Xampling: Signal Acquisition and Processing in Union of Subspaces. IEEE Trans. Signal Proc., 59:4719-4734, 2011.
[1]B. Adcock and A. C. Hansen. Generalized sampling and infinite dimensional com- pressed sensing. Preprint, 2012.
[49]S. Nam, M. E. Davies, M. Elad, and R. Gribonval. The Cosparse Analysis Model and Algorithms. Preprint, 2012.
[9]E. J. Cand`es, Y. C. Eldar, D. Needell, and P. Randall. Compressed Sensing with Co- herent and Redundant Dictionaries. Appl. Comput. Harmon. Anal., 31:59–73, 2011.

  读者可以参阅网页(http://dsp.rice.edu/cs)，其中包含了压缩感知领域的大多数已发表论文，这些论文被细分为不同的主题。我们还想让读者注意最近的书[29]和[32]以及文章[7]。

[29]M. Elad. Sparse and Redundant Representations. Springer, New York, 2010.
[32]Y. C. Eldar and G. Kutyniok. Compressed Sensing: Theory and Applications. Cam- bridge University Press, 2012.
[7]A. M. Bruckstein, D. L. Donoho, and A. Elad. From sparse solutions of systems of equations to sparse modeling of signals and images. SIAM Rev., 51:34–81, 2009.

1.6 章节结构

第2部分首先讨论不同的稀疏模型，包括结构化稀疏和稀疏化字典。第3部分将以${\ell }_1$最小化作为恢复策略，提出精确恢复的必要和充分条件。感知矩阵设计的微妙性是第4部分的重点。第5部分介绍了稀疏恢复的其他算法方法。最后，第6部分将讨论数据分离等应用。