压缩感知理论笔记

                           **压缩感知理论笔记**

1问题描述理论框架
奈奎斯特采样定理：只要采样速率大于两倍带宽就可以通过采样值恢复出原始信号。
奈奎斯特采样定理的缺陷：在超宽带通信中，采样速率要求很高，采样之后还要进行压缩，用较少的比特数来表示信号，丢弃很多被认为不重要的信息，造成了采样资源的浪费。
因此提出疑问：能否利用其它变换空间来表示信号，使得在信息不损失的情况下，利用低于奈奎斯特采样速率的对信号进行采样，同时又可以完全恢复出信号？
在此疑问下提出CS理论：只要信号是可压缩的或者在某个变换空间内是稀疏的，就可以利用一个和变换基不相关的观测矩阵将变换所得的高维信号投影到低维空间上，然后就可以通过求解一个最优化问题从这些少量投影中以高概率重构出原始信号。这样的投影中包含了重构出原始信号的足够信息。

Step1：如果信号X∈RN在某个N×N维的正交基Ψ上是可压缩的，求出变换系数θ=ΨTX.
Step2: 设计一个平稳的，与Ψ不相关的M×N维的观测矩阵Φ，对θ进行观测得到观测集合Y=Φθ=ΦΨTX=ACSX。（该过程也可以表示为信号X通过矩阵ACS进行非自适应观测，ACS称为CS信息算子。
Step3:利用l0-范数意义下的优化问题求解X的近似或者精确解，求得的解X在Ψ基上的表示最稀疏。

2信号的稀疏表示（发现信号的特征并稀疏表示它）
如何找到信号最佳的稀疏域 ?
光滑信号的 Fourier 系数 、小波系数 、有界变差函数的全变差范数 、振荡信号的 Gabor 系数及具有不连续边缘的图像信号的 Curvelet 系数等都具有足够的稀疏性。
固定正交基 冗余字典
稀疏表示的两个问题：
(1)如何构造一个适合某一类信号的冗余字典 ;
(2)如何设计快速有效的稀疏分解算法
从非线性逼近角度来讲，信号的稀疏逼近包括两个层面：
1）从给定基库中挑选最好的基；2）从这个好的基中进行最佳的K项组合
从冗余字典的构成角度来讲，
局部 Cosine 基来刻画声音信号的局部频域特性 ;利用bandlet 基来刻画图像中的几何边缘；适合刻画纹理的Gabor 基 、适合刻画轮廓的 Curvelet 基等等
从稀疏分解算法角度来讲
基于贪婪迭代思想的MP（匹配追踪算法）在音视频信号处理等方面表现出很强的优越性，但不是全局最优解；BP（基追踪算法）具有全局最优性，但是计算复杂度极高。MP算法虽然收敛速度比BP快，但是计算复杂度仍然很大。因此出现了对MP算法进行改进，OMP（正交匹配追踪法）、TMP（树形匹配追踪法）、StOMP（分段匹配追踪法）
3观测矩阵的设计

Y=Φθ=ΦΨTX=ACSX只要确θ中K个非零项的位置，就可构成M×K的方程组，求解便可得到非零项的具体值，求出定解。定存在定解的充要条件是Φ具有等距约束性（RIP），但是RIP性质太过复杂，等价于Φ具有非相关性。如果观测矩阵Φ和稀疏基Ψ不相关则ACS矩阵满足RIP条件。例如随机高斯矩阵与大多数正交基构成的矩阵都不相关，所以它可以作为观测矩阵
4信号重构
当前 , 压缩感知理论的信号重构问题的研究主要集中在如何构造稳定的 、计算复杂度较低的 、对观测数量要求较少的重构算法来精确地恢复原信号。

l0-范数表示θ中非零值的个数K，而无法确定他们的位置,需要列出 种组合，才能得到最优解。这和稀疏分解问题从数学意义上讲是同样的问题 .于是稀疏分解的已有算法可以应用到 CS 重构中 .
三大类重构算法
(1)贪婪追踪算法 :这类方法是通过每次迭代时选择一个局部最优解来逐步逼近原始信号 .这些算法包括MP 算法 ,OMP 算法, 分段 OMP 算法(St OMP)和正则化OMP(ROMP)算法.
(2)凸松弛法 :这类方法通过将非凸问题转化为凸问题求解找到信号的逼近 , 如 BP 算法 , 内点法, 梯度投影方法和迭代阈值法.
(3)组合算法 :这类方法要求信号的采样支持通过分组测试快速重建 ,如傅立叶采样, 链式追踪和HHS(Heavg Hitters on Steroids)追踪等 .

5压缩感知中待研究的问题
(1)对于稳定的重构算法是否存在一个最优的确定性的观测矩阵 ;(2)如何构造稳定的 、计算复杂度较低的 、对观测次数限制较少的重构算法来精确地恢复可压缩信号 ;(3)如何找到一种有效且快速的稀疏分解算法是冗余字典下的压缩感知理论的难点所在 ;(4)如何设计有效的软硬件来应用压缩感知理论解决大量的实际问题 ,这方面的研究还远远不够 ;(5)对于 p-范数优化问题的求解研究还远远不够 ;(6)含噪信号或采样过程中引入噪声时的信号重构问题