压缩感知基本概括——三大基本问题

压缩感知是对于N维的信号x，使用小的观测维数M≪N，设计一个M*N的测量矩阵Φ，得到测量结果y=ϕx，最终通过测得的y和已知的矩阵Φ来求得信号x。

x信号特点：具有稀疏性。即信号本身或者使用一组基地展开后大多数系数为0。

在压缩感知研究中主要有三个问题

 

1.如何找到稀疏信号或者说如何使得信号变成稀疏信号
2.找到合适的测量矩阵Φ，测量矩阵必须满足一定条件才能正确恢复信号
3.从测得的y中恢复出最开始的x信号。
一：如何使得信号变成稀疏信号——信号稀疏表示和分解方法
一般的信号都不满足稀疏性的条件，这个时候我们就要考虑将此信号转换到其他空间域以实现稀疏表示。例如几个正弦信号叠加的信号在时域是连续的，我们可以通过傅里叶变换将原始信号变成在频域上只有几个频率的稀疏信号。
信号的稀疏表示就是在选择一组基函数，使用该基函数的少量线性组合准确表达原始信号，此时该基下的分解表示结果呈现出稀疏性。变换后信号的非零项个数K反映信号固有的自由度，可以用向量的Lo范数来表达向量中非零元素的个数。
信号变换的本质就是通过不同的角度不同的方法去“观察认识一个信号”。
那具体怎么找到适合原始信号的稀疏表示方法呢？一般有两种方法

1.一般基函数下的稀疏逼近
与过完备字典相对应，一般的标准正交基函数称为完备字典。相对来说这种基函数是简易的但不灵活的。就相当于找一组基函数来分解信号，可以类似于傅里叶变换。
常用的基函数（完备字典）有：冲激函数字典，单位阶跃字典，傅里叶基和时间-尺度变换（小波变换）

2.过完备字典下的稀疏逼近

 

 

（两个需要解决的问题 a找到过完备字典 b从过完备字典中找到与信号特点匹配的K个原子）

a：典型过完备字典
建立在标准正交基下的信号分解有一定局限性，对于信号都采用相同的基函数（相当于对所有的信号都粗暴的采用傅里叶变换，但是信号不一定都能达到优良的频域稀疏），使用过完备字典，字典一般维数大于N维，从字典中选择最适应信号特点的基函数来进行非线性稀疏逼近。
对于某个字典D，有L个原子(L≫N)，对于信号x，在过完备字典中选取K个原子对信号做K项逼近。定义逼近误差，我们希望从D各种可能的组合中找到分解系数最稀疏的一组。
典型的过完备字典有：
由精细采样生成的字典（例如傅里叶基增加更多的频率波形）

 

 

Gabor字典

小波包与余弦包字典

 

 

级联字典（多个完备字典级联）

 

框架

b：过完备稀疏分解方法
一个重要的研究方向就是利用数学方法找到在信号在过完备字典中的最稀疏表达，这是一个NP-Hard问题，（NP指非确定性多项式，NP-Hard是指用一定数量的运算去解决多项式时间内可解决的问题）理论上很难求解，通过一定的近似转换成L1范数优化求解问题，通过线性规划来解决。
几种常用的稀疏分解算法：
1.基追踪（BP）算法
2.贪婪匹配追踪(MP)算法
3.正交匹配追踪(OMP)算法


二：如何从测得的y中恢复出原始信号x——稀疏信号的恢复
之所以先讲信号的恢复而将矩阵的选择放到第三部分的原因是因为矩阵性质和矩阵的设计是由信号恢复算法决定的。
稀疏信号的恢复类似于一个解码过程，通过y反求信号x，这是一个从低维度的y而求出高维度x的问题，一般来说会有无穷多个解，而我们要做的就是利用信号稀疏性的特征找出无穷多个解里面的最优解。可以很自然的想到从无穷多个解中找到最稀疏的那个解。这是一个L0范数的规划问题。
P0：min‖x‖_0     s.t.ϕx=y

(规划问题的解为满足ϕx=y中非0元素数目最少的x)

上面的解又是一个NP-Hard问题，我们可以跟稀疏表示方法一样的思路——转换成求L1范数的线性规划问题。
P1：min‖x‖_1    s.t.ϕx=y
(L1范数问题实际上是一个线性规划问题，求满足条件的原子的和的最小值)


问题来了：怎么才能把一个NP-Hard难的L0范数问题转换成线性规划问题L1问题呢?
这个问题就涉及到矩阵的选择，只要矩阵满足一定的性质，就能保证L0范数问题和L1范数问题的解一致。这个性质有多种表示方法会在第三讲中讨论。用的最广的一种表示方法就是——矩阵RIP性质。

本讲的重点放在求解L1范数的观测次数和信号重构算法上

1.L1范数的观测次数
我们只知道压缩感知的核心在降维运算——使用尽可能少的探测维度探测高维度的信号，那么如果选择L1范数法来恢复信号，要精确恢复稀疏信号x，观测次数M至少为多少呢？
根据相关定理最小观测次数M=O(k log⁡(N/k) )

 

2.信号重构算法

a.最小化L1范数算法—基追踪算法（BP）
基追踪问题是基于线性规划的凸优化问题，追求全局最优，对噪声抑制能力强但是计算量巨大。包括内点法，同伦算法等
b.贪婪类（匹配追踪算法）
追求局部最优，计算速度较快
主要包括：匹配追踪(MP),正交匹配追踪（OMP），正则化正交匹配追踪（ROMP），压缩感知匹配追踪（CoSaMP）
c.梯度类算法——二维稀疏图像的重构
d.直接针对L0范数求解——迭代阈值算法


三：测量矩阵的设计
在压缩感知中要想很好的恢复出稀疏信号，就需要测量矩阵的性能配合。不同的测量矩阵对于测量次数和恢复质量都会产生不同的影响。

那么测量矩阵到底需要具有什么样的性质才能保证从观测数据中准确重构信号呢？
最常用的一条就是满足受限等距性质（RIP）
RIP性质定义：
如果存在常数δ_k∈[0,1)使得所有的向量x，‖x‖_0≤k都满足：
(1-δ_k ) ‖x‖_2^2≤‖ϕx‖_2^2≤(1+δ_k ) ‖x‖_2^2
则矩阵ϕ满足K阶RIP性质，简记为RIP-（K,δ_k）
满足K阶RIP性质的矩阵随机抽取其中K列，这些列之间是近似正交的。RIP常数δ_k越接近0，其任取k列所形成的子矩阵就越近于正交。
只有矩阵满足RIP-(2K,√2-1),求解l1范数最小化问题就可以恢复所有的K-稀疏信号。

那么如何构造满足RIP性质的矩阵呢？
1.随机矩阵：Gaussian随机矩阵和Bernoulli随机矩阵
2.确定性矩阵——基于矩阵的列相干性

3.结构随机矩阵

 

最近刚接触压缩感知领域，以上是梳理的关于压缩感知的重要知识的学习笔记，以后应该还会进一步学习测量矩阵的设计和信号重构算法，新手啊难免有错误，欢迎大家指正，也非常欢迎与我交流压缩感知的学习心得~~