压缩感知——SP（subspace pursuit）重构算法前言翻译

压缩感知是一种采样方法，它和变换编码类似，后者被广泛用于涉及到大规模数据采样的现代通信系统中。变换编码将高维空间中的输入信号，转换成非常低的低维空间中的信号。变换编码器的例子有著名的小波变换和普遍存在的傅立叶变换。

压缩感知技术将变换编码成功的用于可压缩信号或者是稀疏信号。将一个K稀疏N维离散时间信号x进行编码，是通过计算一个m维的测量向量y来完成的，y是x的线性投影。这可以通过下式进行简洁表示：y=Phi*x。在这里，Phi代表一个m*N的矩阵，通常是在实数领域中。在这个框架中，投影基被假设成是不相关的，在这个基下，信号可以有一个稀疏表示。

尽管重构信号是一个欠定问题，信号稀疏性的先验使求解问题成为可能。CS理论中一个非常著名的结果是可以使用优化的策略进行信号重构，方法是寻找最稀疏的信号使得y=Phi*x成立。换句话说，重构问题可以归结为L0最优化问题。在无噪的情况下，L0最优化仅仅需要m=2K个随机投影就能重构出稀疏信号。不幸的是，L0最优化问题是一个NP-hard问题。这个问题引发了大量的CS 理论研究和实践，实践主要是围绕设计低计算复杂度的测量和重构算法。

Donoho和Candes等人的工作表明，CS重构确实是一个多项式时间问题，虽然是在多于2K次测量的约束条件下。这些发现表明不一定必须使用求解L0最优化问题进行重构；而且通过求解一个更简单的L1最优化问题，这可以通过线性规划问题。L1和L0在一定条件下是等价的，只要测量矩阵满足一定的RIP条件。

尽管LP技术在设计重构算法中非常重要，但是它们的计算复杂度仍然很高，很难应用到很多应用中。在这些例子中，对于快速解码算法的需求——最好是线性时间——是很重要的，尽管不得不提高测量的个数。几种低复杂度的重构技术最近被提了出来，包括群测方法和基于置信传播的算法。

最近，一类迭代贪婪算法引起了人们的注意，因为这些算法的计算复杂度低，并且有较好的几何解释。包括OMP 、ROMP和StOMP等。这些方法的基本出发点是迭代寻找未知信号的支撑集。在每次迭代中，向量x的一个或者多个坐标被选出来进行测试，测试的方法是计算正则化的测量向量和Phi的列之间的相关系数。如果被认为是足够好，待选列逐步被选入到x的当前支撑集中。追踪算法迭代进行这样的步骤，直到正确支撑集中所有的坐标被选入到估计的支撑集中。OMP策略的计算复杂度依赖于正确重构所需要的迭代次数：标准的OMP通常运行K次迭代，因此它的重构复杂度大约为O(KmN)（更多信息查看Section-IV C）。这样的计算复杂度比LP算法要低很多，尤其是当信号的稀疏度K非常小的时候。但是，追踪算法没有和LP算法一样级别的重构性能保证。为了保证OMP算法能恢复成功，要求Phi的任意两列之间的相关系数不超过1/2K，它由Gershgorin Circle定理证明，它比RIP的要求还要严格。ROMP算法可以重构出所有的K稀疏信号，要求Phi满足特定参数的RIP条件(delta_{2K}<=0.06/sqrt(log(K)))，它比普通的L1线性规划问题要求有更强的RIP条件，分母上多了一个sqrt(log(K))。

本文的主要贡献是提出了一种新的算法，称作子空间追踪算法（SP）。它有和LP算法类似的可以证明的重构性能，并且计算复杂度非常低。这个算法既可以无噪和有噪的情况。在无噪情况下，假如矩阵Phi满足带有一定参数的RIP条件，那么SP算法可以准确重构出原始信号。当测量不准却，或者信号不是严格稀疏的，重构失真有一个上界，这个上界与测量的常数倍数和摄动能量有关。对于非常稀疏的信号，K<=const*sqrt(N)，计算复杂度的上界是O(mNK)，当信号的稀疏度更小的时候，甚至能达到O(mNlog(K))。

原文：http://dsp.rice.edu/sites/dsp.rice.edu/files/cs/SubspacePursuit.pdf

转载请注明出处：http://blog.csdn.net/zhyoulun/article/details/41978129