正交匹配追踪算法OMP(Orthogonal Matching Pursuit)

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/ys676623/article/details/79058429

正交匹配追踪算法OMP(Orthogonal Matching Pursuit)

本文主要基于文献《Orthogonal Matching Pursuit for Sparse Signal Recovery With Noise》编写而成。主要讲述OMP算法基本步骤和思想,后续会介绍OMP算法在Bounded noise和Gaussian noise下的终止条件的选择。


Introduction

在信号处理过程中,经常会遇到这样一个模型:

y=Xβ+ϵ

其中,

  • 向量yRn 是观测向量(observation vector)。
  • 矩阵XRn×p,这里的 Xn<<p)也有些地方称作过完备字典矩阵,下边提到矩阵 X,都默认矩阵 X 的每一列均是正则化的,即 ||Xi||2=1  for  i=1,2,,p
  • ϵRn 是信号观测或者传输时的产生的噪声误差(the measurement errors),βRp 是真实信号。

该模型的目标就是通过观测值 y 和矩阵 X,把未知向量 β 求出来。

对于向量 β=(β1,,βp)Rp ,定义 β 的支集(support)为 supp(β)={i:βi0}。如果 |supp(β)|k,可以说 βk 稀疏(ksparse)的。

另外,在Donoho and Huo(2001)中介绍了MIP(Mutual Incoherence Property)条件,并且 mutual incoherence 被定义为

μ=maxij|<Xi, Xj>|.
MIP 要求 μ 尽可能的小。Tropp(2004)中提出在无噪条件下,μ<12k1 是复原 ksparse β 的充分条件。

其它用在压缩感知文献中的条件还有RIP(Restricted Isometry Property)和ERC(Exact Recovery Condition)。


The OMP Algorithm

下边给出OMP算法的具体步骤,在这之前再来重申一下一些相关概念的定义。

  1. 矩阵 X 的每一列均是正则化的,即 ||Xi||2=1  for  i=1,2,,p

  2. 对于集合 S  {i=1,2,,p}X(S) 表示 X 的一个子矩阵,由 X 的列 Xi 组成,其中 iS

The OMP algorithm can be stated as follows.

Step 1:

初始化,残差(residual) r0=y,已选择的变量集合 X(c0)=。令迭代次数 i=1

Step 2:

寻找变量 Xti 使得 timaxti|Xtiri1| 的解。
然后将 Xti 添加到已选变量集合中,并且更新 ci=ci1{ti}

Step 3:

Pi=X(ci)(X(ci)X(ci))1X(ci),更新残差 ri=(IPi)y

Step 4:

如果终止条件满足,则算法结束;否则,令 i=i+1 并且返回 Step 2 。

The OMP is a stepwise forward selection algorithm and is easy to implement.

在【step 4】中,要对程序终止条件进行判断,OMP的停止条件是依赖 noise structure 的。显然,在无噪的情况下,stop rule 就是残差 ri=0


The OMP Algorithm : Stopping Rules and Properties

在这之前,先给出一些定义。
T={i:βi0}β 的支集,X(T) 为和支集 T 对应的矩阵 X 中列的集合。

M=maxxXX(T){(X(T)X(T))1X(T)x1}

在Tropp(2004)中介绍 Exact Recovery Condition (ERC) 指的是 M<1 ,另外还讲述了 ERC 对于无噪情况下信号 β 支集的复原是一个充分的条件。从上式可以看到,M的计算依赖于支集T,但是通常情况下T是事先不知道的,如果使用 mutual incoherence μ 就好办很多了。

Lemma 1.
If μ<12k1 , then Mkμ1(k1)μ<1 .
Lemma 2.
Suppose μ<12k1 , then 1(k1)μλminλmax1+(k1)μ , where k denotes the cardinality of T .

λminλmax 表示 X(T)X(T) 的最小和最大的特征值。引理1是Tropp(2004)中Theorem 3.5的一个特例。有关 λminλmax 的范围界定的相关结论,在 Needell and Tropp (2008) 中也有给出。

显然,为了更好的进行变量选择,矩阵X列的共线性和信噪比都需要被控制在一定范围内。更具体的来说,矩阵X的列向量 Xi 的线性相关性要尽可能的小,信噪比(signal-to-noise ratio)要尽可能的高。

接下来考虑两种噪声:有界噪声(Bounded Noise)和高斯噪声(Gaussian Noise)。其中,有界噪声考虑两种情况:一是 l2 bounded noise,即对于常数 b2>0ϵ2b2 ;二是 l bounded noise,即对于常数 b>0Xϵb 。高斯噪声即 ϵi 独立同分布于 N(0,σ2)

l2 Bounded Noise

这种噪声结构下,算法停止条件设置为 ri2b2 。这个条件设置的很巧妙,由于 ϵ2b2 ,所以在此停止条件下,对于 β0 的情况,OMP算法不会选择任何变量,程序直接终止。

l Bounded Noise

这种噪声结构下,算法停止条件设置为 Xrib 。和前一种噪声结构 l2 bounded noise 的情况一样,这个停止条件保证了对于 β0 的情况,OMP算法不会选择任何变量,程序直接终止。

Gaussian Noise

事实上,Gaussian Noise是“essentially bounded”的。


该文待更新…

展开阅读全文

没有更多推荐了,返回首页