压缩感知论文内容整理学习

本文是对老板的一篇压缩感知文章进行学习的记录，如有兴趣请阅读原文《压缩感知理论及其研究进展》

1、引言

数字信号很重要，所以信号采样很重要。
奈奎斯特需要两倍信号带宽，而信息需求量的增加使得对采样速率和处理速度的要求也越来越高。
另一方面，之前的压缩方式浪费了大量采样资源。
所以要寻找建立新的信号描述和处理的理论框架，用远低于奈奎斯特采样频率来采样信号，完全恢复信号。

压缩感知：只要信号是可压缩的或者在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号。该理论下，采样速率不决定于信号的带宽，而决定于信息在信号中的结构和内容。
压缩感知中，图像/信号的采样和压缩同时以低速率进行，传感器的采样和计算成本大大降低。该理论指出了将模拟信号直接压缩为数字形式的有效途径。理论上任何信号都具有可压缩性，只要能找到其相应的稀疏表示空间，就可以有效地进行压缩采样。

2、压缩感知理论框架及其主要进展

211 问题描述

一般而言，可压缩信号是指可以用K个大系数很好地逼近的信号，即在某个正交基下的展开的系数呈现指数衰减，具有非常少的大系数和许多小系数。这种通过变换实现压缩的方法称为变换编码。

这种传统的以奈奎斯特采样定理为准则的高速采样后再压缩的过程浪费了大量的采样资源，例如数码相机具有几百万像素的图像传感器，最后只是用了变换压缩后的几百Kbyte的数据。
压缩感知就可以在不丢失大量信息的情况下，对信号降维，即对信号进行较少采样得到信号的压缩表示，切不经过进行N次采样的中间过程，节约采样和传输成本。

212 信号的稀疏表示
稀疏的数学定义：信号X在正交基ψ下的变换系数向量为$Θ=ψ^TX$，假如对于$0<p<2$和$R>0$，这些系数满足：

则说明系数向量Θ在某种意义下是稀疏的，还有另一种定义：如果变换系数$θ=<X,bula>$的支撑域bula的势小于等于K，则可以说信号X是K-项稀疏。

找到信号最佳的稀疏域，是压缩感知理论的基础和前提，这就需要找到合适的基表示信号，从而保证信号的稀疏度，保证信号的恢复精度。
可以通过变换系数衰减速度来衡量变换基的稀疏表示能力。满足具有幂次速度衰减的信号，可利用压缩感知理论来恢复并且重构误差满足bulabula。
把变换基是正交基的条件扩展到了由多个正交基构成的正交基字典。即在某个正交基字典里，自适应地寻找可以逼近某一中信号特征的最优正交基，根据不同的信号寻找最适合信号特性的一个正交基，对信号进行变换得到最稀疏的信号表示。
对稀疏表示研究的一个热点是信号在冗余字典下的稀疏分解，这是一种全新的信号表示理论：用超完备的冗余函数库取代奇函数，称之为冗余字典，字典中的元素被称为原子。字典的选择应尽可能地符合被逼近信号的结构，其构成可以没有任何限制。从冗余字典中找到具有最佳线性组合的K项原子来表示一个信号，称作信号的稀疏逼近或高度非线性逼近。
超完备库下的信号稀疏表示引入了匹配追踪算法，说明了超完备冗余字典对信号表示的必要性，字典的构成应尽量符合信号本身所固有的特性。
信号在冗余字典下的稀疏表示集中在两个方面：一是如何构造一个时候某一类信号的冗余字典。二是如何让设计快速有效的稀疏分解算法。
从非线性逼近角度来讲，信号的稀疏逼近包含两个层面：一是根据目标函数从一个给定的基库中挑选好的基；二是从这个好的基中挑选最佳的K项组合；
从冗余字典的构成来讲，局部Cosine基刻画声音信号，bandlet基刻画图像几何边缘，Gabor基刻画纹理等。
稀疏分解算法包括基于贪婪迭代的MP算法，基追踪（BP）算法，小波字典分解，正交匹配追踪算法（OMP）等。

2.3观测矩阵的设计
压缩感知理论中，通过变换得到信号的稀疏系数向量后，需要设计压缩采样系统的观测部分。观测器的设计目的是如何采样的到M个观测值，并保证能从中重构出长度为N的信号X或者基Ψ下等价的稀疏系数向量。


由于M远远小于N，即方程的个数少于未知数的个数，这是一个欠定问题，一般无确定解，但如果稀疏系数Θ具有k项稀疏性（K远远小于M），则该问题有望求出确定解。有限等距性质（RIP）给出了存在确定性解的充要条件，要求从观测矩阵中抽取的每M个列向量构成的矩阵是非奇异的，问题的关键是如何确定非零系数的位置。
判断是够具有RIP性质很复杂，如果观测矩阵和稀疏基Ψ不相干，则很大概率满足RIP，故观测矩阵可选择高斯随机矩阵。
使用观测矩阵观测后，仅能保证以很高的概率去恢复信号，而不能保证百分百地精确重构信号。

2.4 信号重构
由于观测数量M远小于信号长度N，因此不得不面对求解欠定方程组$Y=A^{CS}X$ 的问题。信号X是稀疏的或可压缩的，这个前提使得问题可解。而观测矩阵具有RIP性质也为从M个观测值中精确恢复信号提供了理论保证。
匹配追踪（MP）和正交匹配追踪（OMP）算法来求解优化问题重构信号，大大提高了计算的速度，且易于实现。树形匹配追踪（TMP）算法考虑信号的多尺度分解时悉数信号在各子带位置的关系，将稀疏系数的树型结构加以利用，提高了精度和速度。
总之，目前为止的重构算法都可归入以下三大类：
（1）贪婪追踪算法：这类方法是通过每次迭代时选择一个局部最优解来逐步逼近原始信号。这些算法包括MP算法，OMP算法，分段OMP算法，和正则化OMP算法
（2）凸松弛法：这类方法通过将非凸问题转化为凸问题求解找到信号的逼近，如BP算法，内点法，梯度投影方法和迭代阈值法
（3）组合算法：这类方法要求信号的采样支持通过分组测试快速重建，如傅立叶采样，链式追踪和HHS追踪
每类方法有其固有的优缺点。

3压缩感知理论推广及其应用

3.1信号在冗余字典上的压缩感知理论
在压缩感知理论中，信号越稀疏，恢复信号就越准确。而对于具有复杂特征的信如自然图像、声音信号来说。固定的正交基又是不足以捕获信号的多种特征，使图像在变换域足够稀疏。
压缩感知理论的一个重要前提是要找到信号的稀疏域，这直接关系到信号的重构精度，大量的研究表明超完备冗余字典下的信号稀疏表示更加有效。将压缩感知中的稀疏表示从固定正交基扩展到冗余字典。在冗余字典下稀疏的信号可以通过BP算法从少量的随机观测值中会读出来，且现有的大多数重构算法仍然适用，增强了信号的稀疏性，可以以更高的概率从更少的观测中恢复信号。
缺点是冗余字典中的原子数量一般很大，稳定性和计算复杂度高有待进一步解决。

3.2 信息采样理论
压缩感知理论在模拟信号向数字信息转换过程中有巨大作用，更有基于压缩感知理论的模拟信号的直接信息采样方法，模拟-信息采样（AI）理论。利用宽带伪随机解调器和低速采样器，开发出一套使用的模拟-信息转换器（AIC）的设计框架。

3.3 压缩感知理论初步应用