l1范数最小化求解系数方程:正交匹配追踪法(orthogonal matching pursuit)
本文部分参考[0]
目录
贪婪算法
正交匹配追踪法是信号处理中拟合稀疏模型的一种贪婪分布最小二乘法(greedy stepwise least squares)法。
贪婪算法(greedy algorithm)的基本思想是:不求整体最优解,而是试图尽快找到某种意义上的局部最优解。贪婪法虽然不能对所有问题得到整体最优解,但对范围相当广泛的许多问题能产生整体最优解或者整体最优解的近似解。和使用凸优化算法的l1范数相比,贪婪算法在速度上具有很大优势。典型的贪婪算法有匹配追踪法和正交匹配追踪法:
匹配追踪法
匹配追踪法(matching pursuit, MP) 是由法兰西大牛Mallat于1993年提出。其基本思想是,不针对某个代价函数进行最小化,而是考虑迭代地构造一个稀疏解 x : 只使用字典矩阵
正交匹配追踪
匹配追踪只能保证残差向量与每一步迭代所选的字典矩阵列向量正交,但与以前选择的列向量一般不正交。正交匹配追踪(orthogonal matching pursuit, OMP)则能保证每步迭代后残差向量与以前选择的所有列向量正交,以保证迭代的最优性,从而减少了迭代次数,性能也更稳健。
正交匹配追踪算法
输入 观测数据向量 y∈Rm 和字典矩阵 A∈Rm×n .
输出 稀疏系数向量 x∈Rn .
Step 1 初始化 令标签集 Ω0=∅ ,初始残差向量 r