压缩感知——稀疏恢复

在现实任务中，我们常希望根据部分信息来恢复全部信息。例如在数据通讯中要将模拟信号转换为数字信号，根据奈奎斯特（Nyquist）采样定理，令采样频率达到模拟信号最高频率的两倍，则采样后的数字信号就保留了模拟信号的全部信息；换言之，由此获得的数字信号能精确重构原模拟信号。然而，为了便于传输、存储，在实践中人们通常对采样的数字信号进行压缩，这有可能损失一些信息。那么接收方基于收到的信号，能否精确地重构出原信号呢？压缩感知（compressed sensing）为解决此类问题提供了新的思路。

压缩感知（Compressed Sensing，也称为压缩采样或稀疏采样）是一种信号处理技术，它利用信号的稀疏性来从远少于传统采样定理（如奈奎斯特定理）所要求的样本数目中重构出完整信号。这一技术的核心思想是，如果一个信号在某个基下是稀疏的（即大部分系数都是0或接近0），那么就可以通过少量的非适配性测量来准确地重构出该信号。

压缩感知的基本原理可以概括为三个关键步骤：

1. 稀疏表示：寻找一个合适的变换域，使得信号在该域下的表示尽可能稀疏。常用的变换包括离散傅里叶变换（DFT）、离散余弦变换（DCT）、小波变换等。

2. 测量：在不满足奈奎斯特采样定理的条件下，通过一个非适配性的测量矩阵对信号进行线性测量。这个测量矩阵与信号的稀疏基不相关，常用的测量矩阵有高斯随机矩阵、伯努利随机矩阵等。

3. 重构：利用优化算法从少量测量中重构出原信号。这一步是压缩感知中最具挑战性的部分，因为它涉及到求解一个通常是非线性的、非凸的优化问题。常用的重构算法包括基追踪（Basis Pursuit）、正交匹配追踪（Orthogonal Matching Pursuit, OMP）、迭代阈值算法等。

压缩感知的优点是可以显著减少采集数据的数量，从而减少存储和传输的开销，特别适用于数据采集成本高、数据存储和传输能力受限的场景，如遥感成像、医学成像（MRI）等领域。

压缩感知的理论基础是稀疏性、不确定性原理和重构算法。其中，稀疏性是指信号在某种表示下大部分系数都接近于零；不确定性原理是指信号不能在两个互补的域中同时具有稀疏性；重构算法是指从少量测量中恢复信号的算法。

压缩感知的成功应用依赖于信号的稀疏性和合适的测量策略，以及有效的重构算法。

假定有长度为 m 的离散信号 x，不妨假定我们以远小于奈奎斯特采样定理要求的采样率进行采样，得到长度为 n 的采样后信号 y，n << m，即$$y=\Phi x$$其中，$\Phi \in R^{n\times m}$ 是对信号 x 的测量矩阵，它确定了以什么频率进行采样以及如何将采样样本组成采样后的信号。

在已知离散信号 x 和测量矩阵 $\Phi$ 时要得到测量值 y 很容易，然而，若将测量值和测量矩阵传输出去，接收方能还原出原始信号 x 吗？

一般来说，答案是“No”，这是由于 n << m，因此 y，x，$\Phi$ 组成的是一个欠定方程，无法轻易求出数值解。

现在不妨假设存在某个线性变换 $\Psi \in R^{m\times m}$，使得 x 可表示为 $\Psi s$，于是 y 可表示为$$y=\Phi \Psi s=As$$其中，$A=\Phi \Psi \in R^{n\times m}$，于是，若能根据 y 恢复出 s，则可通过 $x=\Psi s$ 来恢复出信号 x。

粗看起来，这样做没有解决任何问题，因为恢复信号 s 这个逆问题仍是欠定的，然而有趣的是，若 s 具有稀疏性，则这个问题竟能很好地得以解决！这是因为稀疏性使得未知因素的影响大为减少，此时 $\Psi$ 称为稀疏基，而 A 的作用则类似于字典，能将信号转换为稀疏表示。

事实上，在很多应用中均可获得具有稀疏性的 s，例如图像或声音的数字信号通常在时域上不具有稀疏性，但通过傅里叶变换、余弦变换、小波变换等处理后却会转化为频域上的稀疏信号。

显然，与特征选择、稀疏表示不同，压缩感知关注的是如何利用信号本身所具有的稀疏性，从部分观测样本中恢复原信号。通常认为，压缩感知分为 “感知测量” 和 “重构恢复” 这两个阶段。“感知测量” 关注如何对原始信号进行处理以获得稀疏样本表示，这方面的内容涉及傅里叶变换、小波变换以及字典学习、稀疏编码等，不少技术在压缩感知提出之前就已经在信号处理领域有很多的研究；“重构恢复” 关注的是如何基于稀疏性从少量观测中恢复原信号，这是压缩感知的精髓，当我们谈到压缩感知时，通常是指该部分。

压缩感知的相关理论比较复杂，下面仅简要介绍一下 “限定等距性”（Restricted Isometry Property，简称RIP）

对大小为 $n\times m(n\ll m)$ 的矩阵 A，若存在常数 ${\delta }_k\in (0,1)$使得对于任意向量 s 和 A 的所有子矩阵 $A_k\in R^{n\times k}$ 有$$(1-{\delta }_k)||s|{|}_2^2\le ||A_{k}s|{|}_2^2\le (1+{\delta }_k)||s|{|}_2^2$$则称 A 满足 k 限定等距性（k-RIP）此时可通过下面的优化问题近乎完美地从 y 中恢复出稀疏信号 s，进而恢复出 x：$$\begin{gathered} \underset{s}{\min }||s|{|}_0 \\ s.t.y=As \end{gathered}$$然而，这是一个NP难问题。值得庆幸的是，$L_1$ 范数最小化在一定条件下与 $L_0$ 范数最小化问题共解，于是实际上只需关注$$\begin{gathered} \underset{s}{\min }||s|{|}_1 \\ s.t.y=As \end{gathered}$$这样，压缩感知问题就可以通过 $L_1$ 范数最小化问题求解，例如可以转化为 LASSO 的等价形式再通过近端梯度下降法求解，即使用 “基寻踪去噪”（Basis Pursuit De-Noising）

基于部分信息来恢复全部信息的技术在许多现实任务中有重要应用。例如网上书店通过收集读者在网上对书的评价，可根据读者的读书偏好来进行新书推荐，从而达到定向广告投放的效果。显然，没有哪位读者读过所有的书，也没有哪本书被所有读者读过，因此，网上书店所搜集到的仅有部分信息。如下表所示：

	《笑傲江湖》	《万历十五年》	《人间词话》	《云海玉弓缘》	《人类的故事》
赵大	5	？	？	3	2
钱二	？	5	3	？	5
孙三	5	3	？	？	？
李四	3	？	5	4	？

那么，能否将表中通过读者评价得到的数据当做部分信号，基于压缩感知的思想恢复出完整信号呢？

我们知道，能通过压缩感知技术恢复欠采样信号的前提条件之一是信号有稀疏表示。读书喜好数据是否存在稀疏表示呢？答案是肯定的。一般情况下，读者对于书籍的评价取决于题材、作者、装帧等多种因素，为简化讨论，假定表中的读者喜好评分仅与题材有关。《笑傲江湖》和《云海玉弓缘》是武侠小说，《万历十五年》和《人类的故事》是历史读物，《人间词话》属于诗词文学。一般来说，相似题材的书籍会有相似的读者，若能将书籍按题材归类，则题材总数必然远远小于书籍总数，因此从题材的角度来看，表中反应出的信号应该是稀疏的。于是，应能通过类似压缩感知的思想加以处理。

矩阵补全（matrix completion）技术可用于解决这个问题，其形式为$$\begin{gathered} \underset{X}{\min }rank(X) \\ s.t.(X{)}_{ij}=(A{)}_{ij},(i,j)\in \Omega \end{gathered}$$其中，X 表示需恢复的稀疏信号；rank(X) 表示矩阵 X 的秩；A 是如表读者评分矩阵这样的已观测信号；$\Omega$ 是 A 中非 “?” 元素$(A{)}_{ij}$的下标（i,j）的集合，上面的约束项明确指出，恢复出的矩阵中 $(X{)}_{ij}$ 应当与已观测到的对应元素相同。

这也是一个 NP 难问题。注意到 rank(X) 在集合 { X ∈ R m × n : ∣ ∣ X ∣ ∣ F 2 ≤ 1 } \{X\in R^{m\times n}:||X||_F^2\leq 1\} {X∈Rm×n:∣∣X∣∣F2​≤1} 上的凸包是 X 的 “核范数”（nucleaer norm）：
∣ ∣ X ∣ ∣ ∗ = ∑ j = 1 min ⁡ { m , n } σ j ( X ) ||X||_*=\sum\limits_{j=1}^{\min\{m,n\}}\sigma_j(X) ∣∣X∣∣∗​=j=1∑min{m,n}​σj​(X) 其中${\sigma }_j(X)$表示 X 的奇异值，即矩阵的核范数为矩阵的奇异值之和，于是可通过最小化矩阵核范数来近似求解。即$$\begin{gathered} \underset{X}{\min }||X|{|}_{\ast } \\ s.t.(X{)}_{ij}=(A{)}_{ij},(i,j)\in \Omega \end{gathered}$$
这是一个凸优化问题，可通过半正定规划（Semi-Definite Programming，简称SDP）求解。理论研究表明，在满足一定条件时，若 A 的秩为 r，$n\ll m$，则只需观察到 $O(mr{\log }^{2}m)$个元素就能完美恢复出 A。