压缩感知理论+一个经典的算法

压缩感知

   一、压缩感知理论：

   压缩感知理论指出, 只要信号是可压缩的或在某个变换域是稀疏的, 那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上, 然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号, 可以证明这样的投影包含了重构信号的足够信息。

   新颖之处：采样速率不决定于信号的带宽, 而决定于信息在信号中的结构和内容。

 

二、压缩感知过程：

   压缩感知三个核心问题：信号稀疏变换、观测矩阵设计、重构算法。

 

1、信号的稀疏表示

   稀疏的数学定义:信号X 在正交基下的变换系数向量为, 假如对于0 <p <2 和R>0 , 这些系数满足:

则说明系数向量Θ在某种意义下是稀疏的.

   另一个定义:如果变换系数的支撑域{i :θi≠0}的势小于等于K , 则可以说信号X 是K-项稀疏.

 

   ‚冗余字典：

   对稀疏表示研究的一个热点是信号在冗余字典下的稀疏分解.这是一种全新的信号表示理论:用超完备的冗余函数库取代基函数, 称之为冗余字典, 字典中的元素被称为原子.字典的选择应尽可能好地符合被逼近信号的结构.从冗余字典中找到具有最佳线性组合的K 项原子来表示一个信号, 称作信号的稀疏逼近或高度非线性逼近.

  

 目前信号在冗余字典下的稀疏表示的研究集中在两个方面:

(1)如何构造一个适合某一类信号的冗余字典;

   现在已知可使用局部Cosine 基来刻画声音信号的局部频域特性;利用bandlet 基来刻画图像中的几何边缘.还可以把其它的具有不同形状的基函数归入字典, 如适合刻画纹理的Gabor 基、适合刻画轮廓的Curvelet 基等等.

(2)如何设计快速有效的稀疏分解算法.

   从稀疏分解算法角度来讲, 在音视频信号处理方面,基于贪婪迭代思想的MP(Matching Pursuit)算法表现出极大的优越性, 但不是全局最优解.Donoho 等人另辟蹊径, 提出了基追踪(BP)算法.BP算法具有全局最优的优点, 但计算复杂度极高.MP算法虽然收敛速度较BP快, 但不具备全局最优性, 且计算复杂度仍然很大.之后又出现了一系列同样基于贪婪迭代思想的改进算法, 如正交匹配追踪算法(OMP ),树形匹配追踪(TMP) , 分段匹配追踪(StOMP)算法。

 

2、观测矩阵的设计

   这里, 采样过程是非自适应的, 也就是说,无须根据信号X 而变化,对于给定的Y中求出Θ是一个线性规划问题, 但由于, 即方程的个数少于未知数的个数,这是一个欠定问题, 一般来讲无确定解.然而, 如果Θ具有K-项稀疏性(), 则该问题有望求出确定解.此时, 只要设法确定出Θ中的K 个非零系数θi的合适位置, 由于观测向量Y 是这些非零系数θi对应Υ的K个列向量的线性组合, 从而可以形成一个M ×K 的线性方程组来求解这些非零项的具体值。

   

  有限等距性质(RIP)给出了存在确定解的充要条件即, 要想使信号完全重构, 必须保证观测矩阵不会把两个不同的K-项稀疏信号映射到同一个采样集合中, 这就要求从观测矩阵中抽取的每M 个列向量构成的矩阵是非奇异的.从中可以看出, 问题的关键是如何确定非零系数的位置来构造出一个可解的M×K 线性方程组.

 

   如果保证观测矩阵和稀疏基不相干, 则ACS在很大概率上满足RIP 性质.不相干是指向量{φj}不能用{ψi }稀疏表示 .不相干性越强, 互相表示时所需的系数越多;反之, 相关性则越强.通过选择高斯随机矩阵作为观测矩阵即可高概率保证不相干性和RIP性质.

 

3、信号的重构

  为更清晰地描述压缩感知理论的信号重构问题,首先定义向量的p-范数为

当p =0 时得到0-范数, 它实际上表示X 中非零项的个数.

于是, 在信号X 稀疏或可压缩的前提下, 求解欠定方程组Y =ACSX 的问题转化为最小0-范数问题:

  但是, 它需要列出X 中所有非零项位置的种可能的线性组合, 才能得到最优解.因此, 求解此式的数值计算极不稳定而且是NP 难问题.

 

  Chen ,Donoho 和Saunders 指出,求解一个更加简单的l1优化问题会产生同等的解(要求和不相关):

稍微的差别使得问题变成了一个凸优化问题, 于是可以方便地化简为线性规划问题。典型算法代表:BP算法。

 

  目前为止出现的重构算法都可归入以下三大类 :

(1)贪婪追踪算法:这类方法是通过每次迭代时选择一个局部最优解来逐步逼近原始信号.这些算法包括MP 算法,OMP 算法,分段OMP 算法(StOMP) 和正则化OMP(ROMP)算法 .

(2)凸松弛法:这类方法通过将非凸问题转化为凸问题求解找到信号的逼近, 如BP 算法, 内点法, 梯度投影方法和迭代阈值法.

(3)组合算法:这类方法要求信号的采样支持通过分组测试快速重建,如傅立叶采样, 链式追踪和HHS(Heavg Hitters on Steroids)追踪等.

 

三、待研究的问题

压缩感知理论的研究已经有了一些成果, 但是仍然存在大量的问题需要研究.概括为以下几个方面:

(1)对于稳定的重构算法是否存在一个最优的确定性的观测矩阵;

(2)如何构造稳的、计算复杂度较低的、对观测次数限制较少的重构算法来精确地恢复可压缩信号;

(3)如何找到一种有效且快速的稀疏分解算法是冗余字典下的压缩感知理论的难点所在;

(4)如何设计有效的软硬件来应用压缩感知理论解决大量的实际问题,这方面的研究还远远不够;

(5)对于p-范数优化问题的求解研究还远远不够;

(6)含噪信号或采样过程中引入噪声时的信号重构问题也是难点所在, 研究结果尚不理想.此外, 压缩感知理论与信号处理其它领域的融合也远不够, 如信号检测、特征提取等.CS 理论与机器学习等领域的内在联系方面的研究工作已经开始

 

 

 

例子：0MP算法

    MP算法应用于CS重建时,其核心思想是在第n次迭代中从随机测量矩阵

里选择与当前观测信号余量r (初始化为观测信号_y)最匹配的原子.

 

  MP算法在CS重建中的算法流程如下:

步骤 1 :初始化 ø,.

步骤2 :选择与当前观测信号余量最匹配的原子索引In:

步骤3:更新候选子集

步骤4:计算新的估计信号和新的观测信号余量

步骤5:重复步骤2至步骤4,直到满足迭代终止条件。

 

 

  在沿用MP算法的原子选择准则基础上,OMP算法在每次迭代中对已选择原子集合(CS中对应)正交化,再将信号(CS中对应观测向量y)在己选择原子集合所张成的空间上进行投影,该正交化处理使得观测信号余量r迅速减小,从而减少了迭代次数。

 

 

OMP的函数

%  s-测量；T-观测矩阵；N-向量大小

function hat_y=omp(s,T,N)

 

Size=size(T);                                     %  观测矩阵大小

M=Size(1);                                       %  测量

hat_y=zeros(1,N);                                 %  待重构的谱域(变换域)向量                     

Aug_t=[];                                         %  增量矩阵(初始值为空矩阵)

r_n=s;                                            %  残差值

 

for times=1:M/4;                                 %  迭代次数(稀疏度是测量的1/4)

    for col=1:N;                                  %  恢复矩阵的所有列向量

        product(col)=abs(T(:,col)'*r_n);          %  恢复矩阵的列向量和残差的投影系数(内积值) 

    end

    [val,pos]=max(product);                       %  最大投影系数对应的位置

    Aug_t=[Aug_t,T(:,pos)];                       %  矩阵扩充

    T(:,pos)=zeros(M,1);    %  选中的列置零（实质上应该去掉，为了简单我把它置零）

    aug_y=(Aug_t'*Aug_t)^(-1)*Aug_t'*s;       %  最小二乘,使残差最小

    r_n=s-Aug_t*aug_y;                            %  残差

    pos_array(times)=pos;                        %  纪录最大投影系数的位置

    

    if (norm(r_n)<9)                              %  残差足够小 norm 求向量的模

        break;

    end

end

hat_y(pos_array)=aug_y;                          %  重构的向量

 

 

 

调用语句： rec=omp(Y(:,i),R,a);