l1范数最小化求解系数方程_正交匹配追踪法（orthogonal matching pursuit）

l1范数最小化求解系数方程:正交匹配追踪法（orthogonal matching pursuit）

本文部分参考[0]

目录

贪婪算法

正交匹配追踪法是信号处理中拟合稀疏模型的一种贪婪分布最小二乘法(greedy stepwise least squares)法。

贪婪算法(greedy algorithm)的基本思想是：不求整体最优解，而是试图尽快找到某种意义上的局部最优解。贪婪法虽然不能对所有问题得到整体最优解，但对范围相当广泛的许多问题能产生整体最优解或者整体最优解的近似解。和使用凸优化算法的l1范数相比，贪婪算法在速度上具有很大优势。典型的贪婪算法有匹配追踪法和正交匹配追踪法：

匹配追踪法

匹配追踪法(matching pursuit， MP) 是由法兰西大牛Mallat于1993年提出。其基本思想是，不针对某个代价函数进行最小化，而是考虑迭代地构造一个稀疏解$x$: 只使用字典矩阵$A$的少数列向量的线性组合对观测向量$x$实现稀疏逼近$Ax=y$，其中字典矩阵$A$被选择的列向量所组成的集合是以逐列的方式建立的。在每一步迭代，字典矩阵中通当前残差向量$r=Ax-y$中最相似的列向量被选择作为作用集的新一列。如果残差随着迭代的进行递减，则可以保证算法的收敛。

正交匹配追踪

匹配追踪只能保证残差向量与每一步迭代所选的字典矩阵列向量正交，但与以前选择的列向量一般不正交。正交匹配追踪(orthogonal matching pursuit, OMP)则能保证每步迭代后残差向量与以前选择的所有列向量正交，以保证迭代的最优性，从而减少了迭代次数，性能也更稳健。

---

正交匹配追踪算法

输入 观测数据向量$y\in\bf{R}^m$和字典矩阵$A\in\bf{R}^{m\times n}$.
输出 稀疏系数向量 $x\in\bf{R}^n$.
Step 1 初始化 令标签集$\Omega_0=\varnothing$,初始残差向量