正交匹配追踪(OMP)其它改进算法

转载自：http://blog.csdn.net/jbb0523/article/details/45693359

题目：正交匹配追踪(OMP)其它改进算法

下面介绍10篇文献中的OMP改进算法，首先给出这10篇参考文献：

[1]杨成，冯巍，冯辉，杨涛，胡波.一种压缩采样中的稀疏度自适应子空间追踪算法[J]. 电子学报，2010，38(8)：1914-1917.

[2]高睿，赵瑞珍，胡绍海.基于压缩感知的变步长自适应匹配追踪重建算法[J]. 光学学报，2010，30(6)：1639-1644.

[3]刘亚新，赵瑞珍，胡绍海，姜春晖.用于压缩感知信号重建的正则化自适应匹配追踪算法[J]. 电子与信息学报，2012，32(11)：2716-2717.

[4]刘哲，张鹤妮，张永亮，郝珉慧.基于弱选择正则化正交匹配追踪的图像重构算法[J]. 光子学报，2012，41(10)：1217-1221.

[5]吴迪，王奎民，赵玉新，王巍，陈立娟.分段正则化正交匹配追踪算法[J]. 光学精密工程，2014，22(5)：1395-1402.

[6]徐泽芳，刘顺兰.一种自适应正则化子空间追踪算法[J]. 计算机工程与应用，2015，51(3)：208-211.

[7]王芳星，刘顺兰.一种改进的正则化自适应匹配追踪算法[J]. 机州电子科技大学学报(自然科学版)，2015，35(1)：79-83.

[8]GuilingSUN, Yuhan ZHOU, Zhihong WANG, Wei DANG, Zhouzhou LI. Sparsity AdaptiveCompressive Sampling Matching Pursuit Algorithm Based Compressive Sensing[J].Journal of Computational Systems8: 7(2012): 2883-2890.

[9]XueBi, Xiangdong Chen, Yu Zhang. Variable Step size Stagewise Adaptive MatchingPursuit Algorithm for Image Compressed Sensing[C]. 2013 IEEE InternationalConference on Signal Processing, Communication and Computing(ICSPCC)[A],2013:1-4.

[10]HuangWeiqiang, Zhao Jianlin, Lv Zhiqiang, Ding Xuejie. Sparsity and Step-sizeAdaptive Regularized Matching Pursuit Algorithm for Compressed Sensing[C]. 2014IEEE 7^th Joint International Information Technology and ArtificialIntelligence Conference(ITAIC)[A], 2014: 536-540.

===========================分割线==============================

[1]杨成，冯巍，冯辉，杨涛，胡波.一种压缩采样中的稀疏度自适应子空间追踪算法[J]. 电子学报，2010，38(8)：1914-1917.

        正如文中所说，稀疏度自适应子空间追踪(Sparsity Adaptive Subspace Pursuit, SASP) “使用一种新的稀疏度估计方法得到稀疏度的初始估计值，然后通过迭代进行估计的更新。在每次迭代中采用弱匹配原则选取新原子，再通过子空间追踪改善结果并重建信号”。有关稀疏度估计在文中2.1节进行了数学证明，这个给作者点赞。在估计出信号的稀疏度之后，以SP为主体，然后在第(11)步中又融入了SAMP的思想，但不同于SAMP的是步长并不是直接选定的，而是在第(12)中通过弱选择（类似于SWOMP）的方法增加的。

[2]高睿，赵瑞珍，胡绍海.基于压缩感知的变步长自适应匹配追踪重建算法[J]. 光学学报，2010，30(6)：1639-1644.

        其中停止迭代条件1和停止迭代条件2分别如下：

        有关停止迭代条件中两个阈值的取值，在文中有如下交代：

        正如文中所说：结合 SAMP方法自适应的思想和StOMP方法分阶段的思想，针对SAMP固定步长所带来的精度不够以及过度估计问题，提出了一种新的变步长自适应匹配追踪（Variable step size Adaptive Matching Pursuit,VssAMP）算法。

        VssAMP相比于SAMP的不同之处在于：VssAMP算法中将SAMP的停止迭代条件分为了两个阶段，即依次判别停止迭代条件1和停止迭代条件2是否成立；如果同时满足停止迭代条件1和停止迭代条件2即停止迭代；如果停止迭代条件1不满足则剩余步骤与SAMP相同（即文中所说的“通过大步长快速接近了重建目标信号”阶段）；如果停止迭代条件1满足而停止迭代条件2不满足则将步长减小一半后继续迭代（即文中所说的“通过小步长逐步逼近”阶段）。

        关于停止迭代条件2的“或”后面的条件我有一点疑问：随着迭代的进行，稀疏度越来接近信号的真实稀疏度，信号x的估计不应该本就是越迭代越大么，k-1次迭代时的估计原本不就应该小于第k次迭代时的估计么？难道进入“通过小步长逐步逼近”阶段后信号x的估计会越迭代来越小直到某次迭代变大则意味着可以停止迭代了？

        学习研究该算法还可以拜读作者的硕士学位论文“高睿.基于压缩传感的匹配追踪重建算法研究[D]. 北京交通大学硕士学位论文，2009.”。

[3]刘亚新，赵瑞珍，胡绍海，姜春晖.用于压缩感知信号重建的正则化自适应匹配追踪算法[J]. 电子与信息学报，2012，32(11)：2716-2717.

        其中ε₁与ε₂分别为控制迭代次数与阶段转换的阈值，为达到较好的重建精度以及严格控制阶段转换的目的，根据所处理信号的具体信息适当地选择阈值的大小（但文中仿真部分并未给这两个值的取值方法，个人并未对此进行仿真，感觉应该是取类似10^-6的比较小的值），式(3)(4)(5)(6)如下：

        正如文中所说，正则化自适应匹配追踪（Regularized Adaptive Matching Pursuit，RAMP）算法是一种结合了ROMP算法正则化思想以及SAMP算法自适应思想的新的重建算法，保证了全局优化的同时提高了算法的运算速度。它与SAMP的不同之处在于：SAMP直接从u中选择了size个最大值，而RAMP是先选择size个最大值，再按正则化标准筛选一遍；而stage转换标准中SAMP是r_new≥r，这里是r_new与r差的2范数小于ε₂，文中并未提及如何ε₂取值，但如前述应该是一个较小的值，SAMP中其实大部分情况应该取r_new=r（即不会再有新的列被选中，参见SAMP此处的相关分析），所以二者基本是一致的。

[4]刘哲，张鹤妮，张永亮，郝珉慧.基于弱选择正则化正交匹配追踪的图像重构算法[J]. 光子学报，2012，41(10)：1217-1221.

        算法中的式(3)为：

        弱选择正则化正交匹配追踪是一种结合了文中的参考文献[10]弱选择策略(即SWOMP的弱选择)及ROMP的改进算法，与ROMP的区别主要在于候选集J，ROMP是取迭代余量和观测矩阵的内积值中的最大的K个，而此处是按式(3)选择原子，因此本算法不需要已知信号的稀疏度K，其余部分基本一样。

[5]吴迪，王奎民，赵玉新，王巍，陈立娟.分段正则化正交匹配追踪算法[J]. 光学精密工程，2014，22(5)：1395-1402.

        正如文中所说“结合以上两种算法（即ROMP与StOMP），本文提出分段正则化正交匹配追踪算法，以保证贪婪迭代类算法在信号稀疏度未知的情况下重构信号的可靠性和有效性”，本算法的另一个创新点在于“加入了阈值的可靠性验证阶段。具体为：根据当前残差量设定阈值，选取相关系数大于阈值的原子，若满足条件的原子个数大于零，表明所设阈值合理，对选出的原子进行正则化；若依据以上条件无法选出原子，则表明阈值设定的不合理，此时自动将最大相关系数对应的原子选出，由于只有一个原子，所以无需正则化，直接将此原子加入支撑集。阈值的可靠性验证保证了支撑集持续更新，使算法能可靠、有效地完成信号重构。”本算法相比于StOMP的区别在于：StOMP根据阈值选出候选集后直接使用，而本算法根据阈值选择后还要进行正则化；StOMP若无新原子被选中则跳出循环，而本算法加入了阈值的可靠性验证阶段。

[6]徐泽芳，刘顺兰.一种自适应正则化子空间追踪算法[J]. 计算机工程与应用，2015，51(3)：208-211.

        算法中的式(5)、式(6)及r_new分别为：

        正如文中所说，自适应正则化子空间追踪(Adaptive Regularized Subspace Pursuit，ARSP)算法是在“ROMP，SAMP和SP算法的基础上，将SAMP算法的自适应思想、ROMP 算法的正则化思想和SP 算法相结合”提出的一种新的改进算法。算法第(6)步前半部分及以前与SP算法类似，第(6)步后半部分融入了SAMP，然后在选择原子时先得到候选集再进行正则化。

[7]王芳星，刘顺兰.一种改进的正则化自适应匹配追踪算法[J]. 机州电子科技大学学报(自然科学版)，2015，35(1)：79-83.

        算法中的式(3)\式(4)、式(5)分别为：

        正如文中所说，改进的正则化自适应匹配追踪 (ModifiedRegularization Adaptive Matching Pursuit, MRAMP)算法是“将信号的稀疏度估计、SAMP算法的自适应、SP算法的回退筛选和ROMP算法的正则原子选择相结合”提出的一种新的改进算法。算法首先通过第(2)(3)步，估计出信号稀疏度初始估计值 K₀，并将其作为初始支撑集长度，然后以SP算法为主体，并在最后的(10)(11)步融入SAMP，在原子选择时加入正则化过程。第(11)步与SAMP不同的是这里的步长一直在减半。信号的稀疏度估计来源为这里我所介绍的十种算法中的第1种“[1]杨成，冯巍，冯辉，杨涛，胡波. 一种压缩采样中的稀疏度自适应子空间追踪算法[J].电子学报，2010，38(8)：1914-1917.”。

        我对算法中的第(3)步有一点疑问：通过第(2)(3)步，估计出信号稀疏度初始估计值 K₀，但在第(3)步中有一句“step1=step1”，这句话有意义么？step1在第(1)步中初始化为step后，在第(2)步没有任何更新，那么第(3)步的“step1=step1”意义何在？

[8]GuilingSUN, Yuhan ZHOU, Zhihong WANG, Wei DANG, Zhouzhou LI. Sparsity AdaptiveCompressive Sampling Matching Pursuit Algorithm Based Compressive Sensing[J].Journal of Computational Systems8: 7(2012): 2883-2890.

        正如文中所说，sparsity adaptive compressive sampling matching pursuit(CSAMP)是在“takingadvantages of SAMP sparsity adaptive, introducing backtracking method to lowercomplexity and adopting compressive sampling to improve noise robustness”的一种新的改进算法，它具有“fast, high precision, high stability and sparsity adaptive”的优点。算法主体上与SAMP类似，不同的是第(2)步CSAMP取2L个，而SAMP取L个，文中对此做法给出理由：“Assumethe moment the size of SS isL,adopt compressive sampling which　ensures Candidate Sets has less than 3Latoms, and SS has 2L atoms in each iteration, so reject lessthan L atoms to make optimizationimprovement which realizes high precision reconstruction under the signal withnoise situation.”，也就是说采用了CoSaMP的思想(CoSaMP选2K个，而SP选K个)；然后就是第(5)步的停止迭代条件，一般来说我们都是以残差r的2范数为标准，这里用的是相邻两次迭代最小二乘解的差的2范数为标准，文中对此改进给出了依据：

        还有一点要说明的是，第(1)步初始化时Λ=Φ,Ω=Φ，这里的Φ代表空集的意思，与文中前面的Φ并不是一个意思。

[9]Xue Bi, Xiangdong Chen, Yu Zhang. Variable Step size Stagewise Adaptive MatchingPursuit Algorithm for Image Compressed Sensing[C]. 2013 IEEE International Conference on Signal Processing, Communication and Computing(ICSPCC)[A],2013:1-4.

        Variable Step size StagewiseAdaptive Matching Pursuit(VSStAMP)主体上与SAMP类似，变步长的实现在于第(2)步，在第(2)步判断候选集中包含原子的个数，并以u*M为界限，当原子个数小于界限时采用大步长2*s，而当原子个数小于界限时采用小步长s。因此u的取值比较关键，文中仿真部分u取为1/8，而文中对此也有分析：

[10]Huang Weiqiang, Zhao Jianlin, Lv Zhiqiang, Ding Xuejie. Sparsity and Step-sizeAdaptive Regularized Matching Pursuit Algorithm for Compressed Sensing[C]. 2014IEEE 7^th Joint International Information Technology and ArtificialIntelligence Conference(ITAIC)[A], 2014: 536-540.

        文中对Sparsity and Step-size Adaptive Regularized Matching Pursuit (SSARMP)算法的提出背景有如下阐述：

        算法首先采用文中第(III)(A)部分所述的Numerical Sparsity Estimation(NSE)方法估计信号的稀疏度，然后将NSE估计出的结果应用于SAMP，为了提高恢复概率，又加入了变步长和正则化。从程序流程中可以看出，程序主体上类似SAMP，初始化选择原子的个数为采用NSE方法估计出来的稀疏度，即Initialization阶段的I=K₀，不同于SAMP的是选择完后进行了正则化，然后在后面条件判断时又不同于SAMP，分为变步长条件和停止迭代条件，有关这两个条件在文中做了如下阐述：

        这里步长的变化采用的方法是在满足变步长条件时给步长s乘以一个大于0小于1的数α，有关α的取值在文中最后(IV)(E)部分专门对此做了仿真，仿真表明α趋于0时重构概率会变大但迭代次数也会变大，当α趋于1时重构概率会变小但同时迭代次也会减少。

结语：

        本想把查到的有关OMP的改近算法都详细的仿真一遍，但发现实在是太多了，没有时间一个一个的去仿真。所以这里介绍了自己查到的国内有关OMP的10种改近算法。透过这10种算法，应该可以找出写论文的一点儿规律吧：我们基于OMP算法，有对原子正则化的ROMP、有使用回溯思想的CoSaMP和SP、有采用门限选择选子的StOMP及弱选择标准的SWOMP、还有稀疏度自适应的SAMP，以及我们国内改近算法中引入的稀疏度估计方法、变步长判断标准等等，所以尽情的把这些方法进行排列组合再加入自己的一些新想法得出新的改进算法吧……

        还有一篇改进算法后查到的，所以这里没写，大家可以自己看看：An improved sparsity adaptive matching pursuit algorithm for compressive sensing based on regularized backtracking 。

        另外，如果哪位童鞋有兴趣可以把这些改近算法仿真对比一下……