【信息技术】CS (Compressed Sensing) 压缩感知原理浅析与简明图示

何处闻韶

于 2020-10-28 10:51:58 发布

阅读量6.6k

点赞数 25

分类专栏：【信息技术】

原文链接：https://zhuanlan.zhihu.com/p/22445302

版权

【信息技术】专栏收录该内容

4 篇文章

订阅专栏

作者：咚懂咚懂咚
链接：https://zhuanlan.zhihu.com/p/22445302

在我看来，压缩感知是信号处理领域进入 21 世纪以来取得的最耀眼的成果，并在磁共振成像、图像处理等领域取得了有效应用。压缩感知理论在其复杂的数学表述背后蕴含着非常精妙的思想。基于一个有想象力的思路，辅以严格的数学证明，压缩感知实现了神奇的效果，突破了 信号处理领域的金科玉律 —— 奈奎斯特采样定律。即，在信号采样的过程中，用很少的采样点 (欠采样)，实现了和全采样一样的效果。理解压缩感知的难度可能要比之前讲的小波还要大，但是我们从中依然可以梳理出清晰的脉络。本文将抛弃复杂的数学表述，用没有公式的语言讲清楚压缩感知的核心思路，尽量形象易懂。

一、什么是压缩感知 (CS)

Compressed sensing 又称 compressed sampling，似乎后者看上去更加直观一些。没错，CS 是一个针对信号采样的技术，它通过一些手段，实现了 “压缩的采样”，准确说是 在采样过程中完成了数据压缩的过程。因此，首先要从信号采样讲起：

1. 将模拟信号转换为计算机能够处理的数字信号，必然要经过 采样、量化和编码。问题在于，应该用多大的采样频率，即采样点应该多密多疏，才能完整保留原始信号中的信息呢？

2. 奈奎斯特给出了答案 —— 采样频率至少为信号最高频率的两倍 (fs > 2fmax)。一直以来，奈奎斯特采样定律被视为数字信号处理领域的金科玉律。

3. 至于为什么是 2 倍，学过信号处理的都知道，在时域以 τ 为间隔进行采样，在频域就会以 1/τ 为周期令主值序列发生周期延拓。那么如果采样频率低于 2 倍的信号最高频率，信号在频域频谱搬移后就会发生混叠。

4. 然而这看似不容置疑的定律却受到了几位大神的挑战。Candes 最早意识到了突破的可能，并在不世出的数学天才陶哲轩以及 Candes 的老师 Donoho 的协助下，提出了压缩感知理论。CS 理论认为：如果信号是稀疏的，那么它可以由远低于采样定理要求的采样点重建恢复。

5. 而突破的关键就在于采样的方式。当我们说 “采样频率” 时，意味着做的是 等间距采样。数字信号领域通常都是做等间距采样，也服从奈奎斯特采样定律。但如果是 不等间距采样呢？依然必须要服从采样定理吗？

6. 答案是：随机的欠/下/亚采样 (sub-sampling) 给了我们恢复原信号的可能。

上图非常关键，它简单直观地表述了 CS 的思路。图 b、d 表示三个余弦函数信号叠加构成的时域信号，其在频域的分布只有三条线（图 a）。若对其进行 8 倍于全采样的等间距亚采样（图 b 下方的红点），则频域信号周期延拓后，就会发生混叠（图 c），无法从结果中复原出原信号。

7. 而如果采用 随机亚采样（图 b 上方的红点），那么此时 频域就不再是以固定周期进行延拓了，而是会产生大量不相关（incoherent）的干扰值。如图 c，最大的几个峰值还依稀可见，只是一定程度上被干扰值覆盖。这些干扰值看上去非常像随机噪声，但实际上是由于三个原始信号的非零值发生能量泄露导致的（不同颜色的干扰值表示它们分别是由于对应颜色的原始信号的非零值泄露导致的）

P.S：为什么随机亚采样会有这样的效果？

这可以理解成随机采样使得频谱不再是整齐地搬移，而是一小部分一小部分胡乱地搬移，频率泄露均匀地分布在整个频域，因而泄漏值都比较小，从而有了恢复的可能。

8. 接下来的关键在于，信号该如何恢复？接下来讲一种典型的算法（匹配追踪）：

由于原信号的非零频率值在随机亚采样后的频域中依然保留较大的值，其中较大的两者可通过设置阈值检测出来（上图 a）。
然后，假设原信号只存在这两个非零值（上图 b），则可以计算出由这两个非零值引起的干扰（上图 c）。
用 a 减去 c，即可得到仅由蓝色非零值及其引起的干扰值 (上图 d），再设置阈值即可检测出它，得到最终复原的频域（上图 e）
若原信号频域中有更多的非零值，则可通过迭代将其一一解出。

以上就是 压缩感知理论的核心思想 —— 以比奈奎斯特采样频率要求的采样密度更稀疏的密度对信号进行随机亚采样。由于频谱是均匀泄露的，而不是整体延拓的，因此可以通过特别的追踪方法将原信号恢复。

二、压缩感知的前提条件

接下来总结一下，能实现压缩感知的关键是什么，即需要哪些前提条件。

9. 不难发现在刚才例子中，之所以能够实现最终信号的恢复，是因为它满足了两个前提条件：

原信号在频域 只有 3 个间距较大的非零值，所以可较轻松地恢复。
采用了 随机亚采样机制，因而使频率泄露均匀地分布在整个频域。

这两点对应了 CS 的两个前提条件 —— 稀疏性（sparsity）和 不相关性（incoherence）。

10. 关于 稀疏性 可以这样简单直观地理解：若信号在某个域中 只有少量非零值，那么它在该域稀疏，该域也被称为信号的 稀疏域。

因此，第一个前提条件要求信号必须在某一个变换域具有稀疏性。如例子中，信号在频域稀疏，因而可通过所述的重建方法轻松地在稀疏域（频域）恢复原信号。

然而，信号通常在变换域中不会呈现完全的稀疏性。其实，原信号只要近似满足稀疏性，即大部分值 趋于零，只有少量大的非零值，即可认为是可压缩信号，可以对其进行 CS 亚采样。

事实上，如果原信号在频域中不稀疏，则还可以通过 DWT、DCT 等其他方式，以找到它的稀疏变换。

11. 再对信号的稀疏性和信号压缩作额外补充：其实，信号的稀疏性已经在图像压缩领域有了很广泛的应用。利用信号的稀疏性，可以对信号进行压缩。如图像压缩领域的 JPEG 格式，就是将图像变换到离散余弦域，得到近似稀疏矩阵，并仅保留其中较大的值，从而实现压缩。

12. 比如在本例中，仅用原图像 6.9% 的点就复原了和原图像基本相同的图像。此外，还可以采用小波变换，即为 JPEG-2000，压缩效果更好。

13. 注意，图像压缩和压缩感知这两个概念很容易弄混，其实二者存在本质区别。

图像压缩是先进行了 全采样，然后再变换域丢弃小系数，完成压缩；

压缩感知则不同，它的思想其实从图像压缩中借鉴了很多：既然全采样了还要再丢弃，那为什么不能直接少采样一些点？因此，压缩感知直接进行了 亚采样，然后再用算法消除亚采样导致的伪影。可以说，压缩感知 直接在采样时就完成了压缩。

14. 接下来，在将第二个前提条件前，还是需要引入必要的数学表达的。上图是一个在压缩感知相关文献中会经常看到的一张示意图。很多文章试图用此图给说明什么是压缩感知，结果导致大家看得一头雾水，混淆在各种 “矩阵” 当中。其实，这张图也就是把亚采样的过程用矩阵的方式表达出来而已，如图：

x 是长度为 N 的一维时域信号，即原信号，其稀疏度为 k。此刻它是未知的。
Φ 为观测矩阵，对应亚采样过程。它将高维信号 x 投影到低维空间，是已知的。
y = Φx 为长度 M 的一维测量值，也就是亚采样后的结果。显然它也是已知的。

因此，压缩感知问题 就是 在已知测量值 y 和测量矩阵 Φ 的基础上，求解欠定方程组 y = Φx 得到原信号 x。

然而，一般的自然信号 x 本身并不是稀疏的，需要在某种稀疏基上进行稀疏表示。令 x = Ψs，Ψ 为稀疏基矩阵，s 为稀疏系数。

于是最终方程变为：y = ΦΨs 。已知 y、Φ、Ψ，求解 s。

15. 对应一开始的例子易知：x 对应三个正弦信号叠加在一起的原信号；稀疏矩阵 Ψ 为傅里叶变换，将时域信号变换到频域 S；而观测矩阵 Φ 对应了采用的随机亚采样方式；观测值 y 即为最终的采样结果。

16. y = ΦΨs 有点长，不妨把 ΦΨ 合并成一个矩阵 —— 传感/感知矩阵。即令 Θ = ΦΨ，则有 y = Θs。

问题随即为，已知 y 和 Θ，求解 s。求解出 s 后，由 x = Ψs 即可恢复出原信号 x。

然而，正常情况下，方程的个数 M 远小于未知数的个数 N，方程无确定解 (欠定 / 病态 / 奇异 / 非满秩/ ill-posed)，无法重构信号。但是，由于信号是 K 稀疏的，若上式中的 Φ 满足 有限等距性质 (RIP)，则 K 个系数就能够从 M 个测量值准确重构（得到一个最优解）。