压缩感知：理论与应用（一）

本文主要摘自：Gitta Kutyniok, Compressed Sensing: Theory and Applications, March 12, 2012.

摘要

  压缩感知是2006年新引入的研究领域，从那时起已经成为应用数学、计算机科学和电气工程等领域的重要概念。它出人意料地预测到，通过使用有效的算法，可以从以前被认为是高度不完整的线性测量中恢复出高维信号，只要这种高维信号能够以适当的基（或frame）来进行稀疏表示。本文将作为对压缩感知进行介绍和综述。

1、概述

  压缩感知的研究起源于2006年Donoho[18]和Cand´es, Romberg, Tao[11]这两篇突破性论文。如今，在仅仅6年之后，已经有1000多篇文章探讨了大量的压缩感知理论。此外，这种方法被广泛应用于天文学、生物学、医学、雷达和地震学等领域。

[18] D. L. Donoho. Compressed sensing. IEEE Trans. Inform. Theory, 52:1289–1306, 2006.
[11] E. Cand`es, J. Romberg, and T. Tao. Robust uncertainty principles: Exact signal reconstruction from highly incomplete Fourier information. IEEE Trans. Inform. Theory,
52:489-509, 2006.

  压缩感知的关键思想是通过凸优化从很少的非自适应的线性测量中恢复稀疏信号。换个角度，与高维稀疏向量经过降维后的精确恢复相关。再换个角度，我们可以把这个问题看作是，计算一个信号相对于一个超完备系统的稀疏系数向量。压缩感知的理论基础与其它应用领域的方法有联系，如应用谐波分析、frame理论、几何泛函分析、数值线性代数、最优化理论和随机矩阵理论等。
  有趣的是，关于稀疏恢复问题的研究，实际上可以追溯到90年代早期的论文，如[24]，以及后来著名的Donoho与Huo的论文[21]以及Donoho与Elad的论文[19]。当前面提到的两篇介绍压缩感知的基础论文发表时，术语“压缩感知”最初用于随机感知矩阵，因为这些矩阵允许最小数量的非自适应的线性测量。目前，“压缩感知”这一术语与“稀疏恢复”这一术语的通用互换性越来越高，这也是我们在本文中将采用的观点。

[19] D. L. Donoho and M. Elad. Optimally sparse representation in general (nonorthogonal) dictionaries via $l^1$ minimization, Proc. Natl. Acad. Sci. USA, 100:2197–2202, 2003.
[21] D. L. Donoho and X. Huo. Uncertainty principles and ideal atomic decomposition. IEEE Trans. Inform. Theory, 47:2845–2862, 2001.
[24] D. L. Donoho and P. B. Starck. Uncertainty principles and signal recovery. SIAM J.Appl. Math., 49:906–931, 1989.

1.1 压缩感知问题

  为了精确地描述这个问题，令$\mathbf{x}=(x_i{)}_{i=1}^n\in {\mathbb{R}}^n$为有用信号。作为先验信息，我们或者假定$\mathbf{x}$本身为稀疏的，这意味着它只有很少的非零系数，即
∣ ∣ x ∣ ∣ 0 : = # { i : x i = ̸ 0 } ||{\bf x}||_0:=\#\{ i:{x_i} { = \not } 0 \} ∣∣x∣∣0​:=#{ i:xi​=