CS压缩感知

机器之心  https://mp.weixin.qq.com/s/n7oeblund-YRl88VrLGRAg【马毅教授「高维数据的低维结构与深度模型」】：

忽然想不起 压缩感知的原理  采样定理的原理上的差别。

奈奎斯特采样定理：https://www.cnblogs.com/AndyJee/p/5050321.html

定理：为了不失真地恢复模拟信号，离散信号系统的采样频率不小于模拟信号频谱中最高频率的2倍。

在时域上，频带为F的连续信号f(t)可用一系列离散的采样值f(t1),f(t1+Δt),f(t1+2Δt)…来表示，只要这些采样点的时间间隔Δt <= 1/2F，便可根据各采样值完全恢复原始信号。

在频域上，当时间信号函数f(t)的最高频率分量为fmax时，f(t)的值可由一系列采样间隔小于或等于1/2fmax的采样值来确定，即采样点的重复频率为fs >= 2fmax。

采样定理指出，只要离散系统的奈奎斯特频率高于采样信号的最高频率或带宽，就可以避免混叠现象。从理论上说，即使奈奎斯特频率恰好大于信号带宽，也足以通过信号的采样重建原信号。但是，重建信号的过程需要以一个低通滤波器或者带通滤波器将在奈奎斯特频率之上的高频分量全部滤除，同时还要保证原信号中频率在奈奎斯特频率以下的分量不发生畸变，而这是不可能实现的。在实际应用中，为了保证抗混叠滤波器的性能，接近奈奎斯特频率的分量在采样和信号重建的过程中可能会发生畸变。因此信号带宽通常会略小于奈奎斯特频率，具体的情况要看所使用的滤波器的性能。需要注意的是，奈奎斯特频率必须严格大于信号包含的最高频率。如果信号中包含的最高频率恰好为奈奎斯特频率，那么在这个频率分量上的采样会因为相位模糊而有无穷多种该频率的正弦波对应于离散采样，因此不足以重建为原来的连续时间信号。

压缩感知：

压缩感知：作为一个新的采样理论，通过利用信号的稀疏特性，在远小于Nyquist采样率的条件下，用随机采样获取信号的离散样本，然后通过非线性重建算法完美重建信号。

提出背景：众所周知，在奈奎斯特采样定理为基础的传统数字信号处理框架下，若要从采样得到的离散信号中无失真地恢复模拟信号，采样速率必须至少是信号带宽的两倍。然而，随着当前信息需求量的日益增加，信号带宽越来越宽，在信息获取中对采样速率和处理速度等提出越来越高的要求。最近由D Donoho、E Candbs及华裔科学家T Tao等人提出的压缩感知(Compressive Sensing，CS)理论指出了一条模拟信号"经济地"转化为数字形式的压缩信号的有效途径：利用变换空间描述信号，通过直接采样得到少数有用的线性观测数据（包含信号全局信息的压缩数据），然后解一个优化问题就可以从观测数据中恢复原始信号。

压缩感知与奈奎斯特采样定理：

从采样的角度来看，压缩感知和基于奈奎斯特采样定理的传统信号采集是两种不同形式的信号采集方式。（压缩感知打破了传统信号处理中对于奈奎斯特采样要求的限制）

采样率：在压缩感知理论下，信号的采样率不再取决于信号的带宽，而是取决于信息在信号中的结构与内容（稀疏性）。关于采样率的计算方式，压缩感知是从少量离散测量数据恢复离散数字信号，其计算方式为采样率=测量值的大小/恢复信号的大小；而传统信号采集是从离散采样数据中恢复模拟信号（时序信号），采样率指的是一个采集频率，在我看来，这两者定义的采样率不具有可比性。（但从绝对值来看，压缩感知的采集数据量应该是小于或远小于传统采集）

信号采集方式：传统采样理论是通过均匀采样（极少情况下也采用非均匀采样）获取数据；压缩感知则通过计算信号与一个观测函数之间的内积来获得观测数据（AX=b）；

恢复信号形式：传统采样定理关注的对象是无限长的连续信号；压缩感知是有限维观测向量空间的向量（离散信号）；

恢复信号方式：传统采样恢复是在Nyquist采样定理的基础上，通过采样数据的sinc函数线性内插获得（在不均匀采样下则是非线性的插值恢复），而压缩感知采用的是利用信号的稀疏性，从线性观测数据中通过求解一个非线性的优化问题来恢复信号的方法。

压缩感知的核心思想：压缩和采样合并进行，并且测量值远小于传统采样方法的数据量，突破香农采样定理的瓶颈，使高分辨率的信号采集成为可能。

 

压缩感知理论 - WeisongZhao - CSDN博客  https://blog.csdn.net/weixin_41923961/article/details/82763275

简单地说，压缩感知理论指出：只要信号是可压缩的或在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号，可以证明这样的投影包含了重构信号的足够信息。

       在该理论框架下，采样速率不再取决于信号的带宽，而在很大程度上取决于两个基本准则：稀疏性和非相关性，或者稀疏性和等距约束性。

压缩感知理论主要包括三部分：

（1）信号的稀疏表示；

（2）设计测量矩阵，要在降低维数的同时保证原始信号x的信息损失最小；

（3）设计信号恢复算法，利用M个观测值无失真地恢复出长度为N的原始信号。

理论依据：

（1）设长度为N的信号X在某个正交基Ψ上是K-稀疏的（即含有k个非零值）；

（2）如果能找到一个与Ψ不相关（不相干）的观测基Φ；

（3）用观测基Φ观测原信号得到长度M的一维测量值M个观测值Y，K<M<<N；

（4）那么就可以利用最优化方法从观测值Y中高概率恢复X。

 

数学表达：

       设x为长度N的一维信号，稀疏度为k（即含有k个非零值），A为M×N的二维矩阵（M<N），y=Φx为长度M的一维测量值。压缩感知问题就是已知测量值y和测量矩阵Φ的基础上，求解欠定方程组y=Φx得到原信号x。Φ的每一行可以看作是一个传感器（Sensor），它与信号相乘，拾取（Acquisition）了信号的一部分信息。而这一部分信息足以代表原信号，并能找到一个算法来高概率恢复原信号。

将原来的测量矩阵Φ变换为Θ=ΦΨ（称之为传感矩阵），解出s的逼近值s’，则原信号x’ = Ψs’。

 

1、信号的稀疏表示

       信号的稀疏性简单理解为信号中非0元素数目较少，或者说大多数系数为0（或者绝对值较小）。

自然界存在的真实信号一般不是绝对稀疏的，而是在某个变换域下近似稀疏，即为可压缩信号。或者说从理论上讲任何信号都具有可压缩性，只要能找到其相应的稀疏表示空间，就可以有效地进行压缩采样。信号的稀疏性或可压缩性是压缩感知的重要前提和理论基础。

       稀疏表示的意义：只有信号是K稀疏的（且K<M<<N），才有可能在观测M个观测值时，从K个较大的系数重建原始长度为N的信号。也就是当信号有稀疏展开时，可以丢掉小系数而不会失真。

      我们知道，长度为N的信号X可以用一组基ΨT=[Ψ1,…, ΨM]的线性组合来表示：

       x=Ψs，Ψ为稀疏基NxN矩阵，s为稀疏系数（N维向量），当信号X在某个基Ψ上仅有 K<<N个非零系数或远大于零的系数s时，称Ψ为信号X的稀疏基。我们需要做的就是合理地选择稀疏基，使得信号的稀疏系数个数尽可能少。

       再啰嗦点的话：如果长度为N的信号X，在变换域Φ中只有K个系数不为零（或者明显大于其他系数），且K<<N，那么可以认为信号X在Φ域中是稀疏的并可称为K-稀疏（不是严格的定义）。那么在该域下，我们如果只保留这M个大系数，丢弃其他的系数，则可以减小储存该信号需要的空间，达到了压缩（有损压缩）的目的。同时，以这M个系数可以重构原始信号X，不过一般而言得到的是X的一个逼近。

       我们应该熟悉JPEG跟JPEG2000的区别吧，JPEG的核心算法是DCT，而后者是DWT，本质上，这两种处理方法都是将信号从一个域变换到另外一个域（把坐标系进行旋转，将信号投影到不同的基上），从而获得信号的稀疏表示，即用最少的系数来表示信号，不过DWT比DCT更加稀疏而已。信号不同，对应最稀疏表达的基也会不同，比如，对于一维信号可能小波基是最稀疏的，而对于图像而言，可能那些Curvelet和contourlet是最优的，对于有些信号，也有可能需要将几种基结合起来才是最优的。稀疏分解是找到信号的最稀疏最有效的表达。

        信号在某种表示方式下的稀疏性，是压缩感知应用的理论基础，经典的稀疏化的方法有离散余弦变换（DCT）、傅里叶变换（FFT）、离散小波变换（DWT）等。

        最近几年，对稀疏表示研究的另一个热点是信号在冗余字典下的稀疏分解。 这是一种全新的信号表示理论：用超完备的冗余函数库取代基函数，称之为冗余字典，字典中的元素被称为原子。目前信号在冗余字典下的稀疏表示的研究集中在两个方面：一是如何构造一个适合某一类信号的冗余字典，二是如何设计快速有效的稀疏分解算法。目前常用的稀疏分解算法大致可分为匹配追踪（Matching Pursuit）和基追踪（Basis Pursuit）两大类。

 

2、信号的观测矩阵

      观测矩阵（也称测量矩阵）MxN（M<<N）是用来对N维的原信号进行观测得到M维的观测向量Y，然后可以利用最优化方法从观测值Y中高概率重构X。也就是说原信号X投影到这个观测矩阵（观测基）上得到新的信号表示Y。

      观测矩阵的设计目的是如何采样得到M个观测值，并保证从中能重构出长度为N的信号X或者稀疏基Ψ下等价的稀疏系数向量。

       为了保证能够从观测值准确重构信号，其需要满足一定的限制：观测基矩阵与稀疏基矩阵的乘积满足RIP性质（有限等距性质）。这个性质保证了观测矩阵不会把两个不同的K稀疏信号映射到同一个集合中（保证原空间到稀疏空间的一一映射关系），这就要求从观测矩阵中抽取的每M个列向量构成的矩阵是非奇异的。

在CS编码测量模型中并不是直接测量稀疏信号X本身， 而是将信号投影到一组测量矩阵Φ上而得到测量值y。即，用一个与变换矩阵不相关的MxN（M<<N）测量矩阵Φ对信号x进行线性投影，得到线性测量值y： y=Φx ;

       测量值y是一个M维向量，这样使测量对象从N维降为M维。测量矩阵的设计要求信号从x转换为y的过程中，所测量到的K个测量值不会破坏原始信号的信息，以保证信号可以精确重构。

       由于信号x是是可稀疏表示的: x=Ψs，上式可以表示为下式：

   y=Φx=ΦΨs=Θs

       其中Φ是一个MxN矩阵。上式中，方程的个数远小于未知数的个数，方程无确定解，无法重构信号。但是，由于信号是K稀疏，若上式中的Φ满足有限等距性质(Restricted Isometry Property，简称RIP)，则K个系数就能够从M个测量值准确重构（得到一个最优解）。RIP性质的等价条件是测量矩阵Φ和稀疏基Ψ不相关。

        如果稀疏基和观测基不相关，则很大程度上保证了RIP性。CandeS和Tao等证明:独立同分布的高斯随机测量矩阵可以成为普适的压缩感知测量矩阵。则一般用随机高斯矩阵作为观测矩阵。目前常用的测量矩阵还有随机贝努利矩阵、部分正交矩阵、托普利兹和循环矩阵和稀疏随机矩阵等，这里不一一列举了。

 

3、信号的重构算法

      当矩阵Φ满足RIP准则时。压缩感知理论能够通过对上式的逆问题先求解稀疏系数s，然后将稀疏度为K的信号x从M维的测量投影值y中正确地恢复出来。解码的最直接方法是通过l0范数（0-范数，也就是向量yˆ中非零元素的个数）下求解的最优化问题：

 

      从而得到稀疏系数s的估计s’。则原信号x’ = Ψs’。由于上式的求解是个NP难问题（在多项式时间内难以求解，甚至无法验证解的可靠性）。L1最小范数下在一定条件下和L0最小范数具有等价性，可得到相同的解。那么上式转化为L1最小范数下的最优化问题：

 

       L1范数最小化是通过用L1范数来近似0范数，取1而不取1/2,2/3或者其他值，是因为1范数最小化是凸优化问题，可以将求解过程转化成有一个线性规划问题。L1最小范数下最优化问题又称为基追踪(BP)，其常用实现算法有：内点法和梯度投影法。内点法速度慢，但得到的结果十分准确：而梯度投影法速度快，但没有内点法得到的结果准确 。

       目前，压缩感知的重构算法主要分为两大类：

（1）贪婪算法，它是通过选择合适的原子并经过一系列的逐步递增的方法实现信号矢量的逼近，此类算法主要包括匹配跟踪算法、正交匹配追踪算法、补空间匹配追踪算法等。

（2）凸优化算法，它是把0范数放宽到1范数通过线性规划求解的，此类算法主要包括梯度投影法、基追踪法、最小角度回归法等。

        凸优化算法比贪婪算法所求的解更加精确，但是需要更高的计算复杂度。

        一般的自然信号x本身并不是稀疏的，需要在某种稀疏基上进行稀疏表示，x=Ψs，Ψ为稀疏基矩阵，s为稀疏系数（s只有K个是非零值（K<<N）。

      压缩感知方程为y=Φx=ΦΨs=Θs。