压缩感知（Compressed Sensing）

压缩感知（Compressed Sensing）

1. CS的初步理解

  CS是一个针对信号采样的技术，是在采样过程中完成数据压缩的过程。我们知道在对模拟信号按一定采样频率进行采样并得到数字信号的过程中，要想完整保留原始信号中的信息，采样频率必须大于信号中最高频率的2倍（奈奎斯特采样定理）。但Candes等人又提出了，如果信号在频域是稀疏的，那么它可以由远低于采样定理要求的采样点重建恢复。Nyquist定理中的采样为等间距采样，若采样频率低必然会引起混叠，如果不等间距采样呢？如果是随机采样呢？随机采样必然会发生频谱泄露，但泄露会均匀分布在整个频域且泄露值都较小，而最大的几个峰值可以通过设置阈值检测出来，从而有了恢复出原始信号的可能。

图1. 压缩感知的初步理解

  图1展示了一原始的模拟信号在频域是稀疏的，仅由三个频率分量组成，为了得到数字信号，首先要在时域对其进行采样，根据压缩感知理论，可以在时域进行随机亚采样，之后得到的频谱会产生如图所示的泄露，但可以通过阈值检测求出原始信号的真实频率分量，从而恢复出原始信号。

注意：这里信号的稀疏性不光可以在频域，还可以表现在其他变化域上。

2. CS的数学建模

  CS有两个前提条件：

1. 该信号在某个变换域是稀疏的（sparsity）；
2. 采样是随机的，与变换域不相关（incoherence）。

假设：x是长度为N的原信号，稀疏度为k，它是未知的；

注：稀疏度为k指的是x的N个元素值只有k个是非零的，k<<N，或者除了这k个值其他值都非常小。

Φ为测量矩阵，对应采样过程，也就是压缩的过程，如随机采样，是已知的；采样后的结果为：y=Φx，也是已知的；因此压缩感知问题是：在已知测量值y和测量矩阵Φ的基础上，求解原信号x的过程。然而一般信号x本身并不稀疏，需要在某种稀疏基上进行稀疏表示，即x=Ψs, 其中s为稀疏向量，即为所求的稀疏信号；Ψ为稀疏基矩阵，也叫稀疏变换矩阵，如傅里叶变换。

注意：这里有一个如何求稀疏变换矩阵的问题，方法有两种，一是字典学习，二是建立超完备原子字典。

于是最终问题表示为：
                  y = ΦΨs = $\Theta$s             （1）
已知y，Φ，Ψ，求s， $\Theta$称为感知矩阵。感知矩阵需要满足约束等距原则（RIP），因此需要测量矩阵Φ和稀疏基Ψ满足不相关，即采样过程与稀疏过程不相关。Candes等人又找到了独立同分布的高斯随机测量矩阵可以称为普适的压缩感知测量矩阵，于是满足高斯分布的随机测量矩阵就成了CS最常用的观测矩阵。

3. CS的常用方法

   已知(1)方程有无数解，因此需要通过增加约束来得到唯一解。方程是稀疏的，因此我们需要找到这个方程里所有解中最稀疏的内个就行了。

注意，最稀疏的解有可能不是真正的解，但是很接近，所以压缩感知算法实际上是一种有损压缩。

求解上述方程一般有三种思路：凸优化算法，贪婪算法，贝叶斯理论。

什么是凸问题和凸优化？

• 凸集：在某集合中的x和y两个点，若x和y连线之间的所有点仍属于这个集合，则称此集合为凸集。
• 凸函数：在凸集x中任意两s点x1和x2，若其中 0< μ<1，则称f(x)为凸函数。
• 凸优化：对于以下优化问题：若目标函数f(x)和l个约束函数g(x)都是凸函数，则称这样的问题为凸优化问题。
• 凸优化的特点：如果一个实际问题可以被表示成凸优化问题，那么我们就可以认为其能够得到很好的解决；对于凸优化问题来说，局部最优解就是全局最优解；可以通过松弛算法将一个非凸问题转化为凸优化问题。

CS常用算法有：

1. 基追踪重构算法（Basis Pursuit, BP）。BP算法是一种凸优化方法。
2. 正交匹配追踪算法（OMP）。OMP属于贪婪算法。
3. 阈值迭代算法。包括软阈值迭代（ISTA）和迭代硬阈值（IHT）。ISTA的一种改进方法为快速阈值迭代（FISTA）。

  

参考文献

[1]. Dandes, E. J. . “Near-optimal signal recovery from random projections.” Universal encoding strategies IEEE Transactions on Information Theory 52(2006).
[2]. Donoho, D. L. . “Compressed sensing.” IEEE Transactions on Information Theory 52.4(2006):1289-1306.