正交匹配追踪算法OMP（Orthogonal Matching Pursuit）

正交匹配追踪算法OMP（Orthogonal Matching Pursuit）

本文主要基于文献《Orthogonal Matching Pursuit for Sparse Signal Recovery With Noise》编写而成。主要讲述OMP算法基本步骤和思想，后续会介绍OMP算法在Bounded noise和Gaussian noise下的终止条件的选择。

---

Introduction

在信号处理过程中，经常会遇到这样一个模型：

$$y = Xβ + {\epsilon}$$
其中，

• 向量$y∈R^n$ 是观测向量（observation vector）。
• 矩阵$X∈R^{n×p}$，这里的 $X$（$n<<p$）也有些地方称作过完备字典矩阵，下边提到矩阵 $X$，都默认矩阵 $X$ 的每一列均是正则化的，即 $||X_i||_2=1~~for~~i=1, 2,\cdots,p$。
• ${\epsilon}∈R^n$ 是信号观测或者传输时的产生的噪声误差（the measurement errors），$β∈R^p$ 是真实信号。

该模型的目标就是通过观测值 $y$ 和矩阵 $X$，把未知向量 $β$ 求出来。

对于向量 $β=(β_1,\cdots,β_p)∈R^p$ ，定义 ${\beta}$ 的支集（support）为 $supp(β)=\{i:β_i\neq 0\}$。如果 $|supp(\beta)|\leq k$，可以说 ${\beta}$ 是 $k$ 稀疏（ k−sparse