OMP与MP算法流程与代码

本文算法描述主要来自下面书籍的3.1节。
[1] 【以色列】Michael Elad著. 曹铁勇等翻.《稀疏与冗余表示–理论及其在信号与图像处理中的应用》.国防工业出版社. 2015.

1. 算法描述

---

(1) 任务：近似求解($P_0$)问题：${\min }_{\mathbf{x}}||\mathbf{x}|{|}_0\mathrm{s}.\mathrm{t}.\mathbf{A}\mathbf{x}=\mathbf{b}$。
(2) 参数：给定$M\times N$维矩阵$\mathbf{A}$，$N$维向量$\mathbf{b}$和误差阈值${ϵ}_0$。
(3) 初始化：初始设置$k=0$，并设置：
  ① 初始解：${\mathbf{x}}^0=0$；
  ② 初始残差：$\mathbf{r}=\mathbf{b}$；
  ③ 初始解的支撑集： S 0 = s u p p o r t { x 0 } = Φ {\mathcal S}^0={\rm support}\{ {\bf x}^0\}=\varPhi S0=support{ x0}=Φ。
(4) 主要迭代：每次$k$加1，并执行下列步骤：
  ① 扫描：对所有的$j$，计算最优$z_j^{\ast }={\mathbf{a}}_j^{\mathrm{T}}{\mathbf{r}}^{k-1}/||{\mathbf{a}}_{\mathbf{j}}|{|}_2^2$，并得到误差$ϵ(j)={\min }_{z_j}||{\mathbf{a}}_j{z}_j^{\ast }-{\mathbf{r}}^{k-1}|{|}_2^2$；【注1】
  ②更新支撑集：确定$ϵ(j)$取最小值的点$j_0$，$\forall j\in {\mathcal{S}}^{k-1}$，$ϵ(j_0)<ϵ(j)$，并更新支撑集 S k = S k − 1 ∪ { j 0 } {\mathcal S}^k={\mathcal S}^{k-1}\cup\{j_0\} Sk=Sk−1∪{ j0​}；

%以上步骤对两种贪婪算法均相同，下面分不同算法描述
%OMP算法：

  ③ 更新临时解：在支撑集 S k = s u p p o r t { x k } {\mathcal S}^k={\rm support}\{ {\bf x}^k\} Sk=support{ xk}条件下，计算使得$||\mathbf{A}\mathbf{x}-\mathbf{b}|{|}_2^2$最小化的值 x k {\bf x}^k