OMP算法笔记
OMP算法整理(以备自己后期查阅,集合了几篇博主的文章)
(1)数理知识基础–投影矩阵
详见:
作者:nineheaded_bird
来源:CSDN
原文:https://blog.csdn.net/tengweitw/article/details/41174555
版权声明:本文为博主原创文章,转载请附上博文链接!
结论
假设:某空间中线性无关的向量组成的矩阵为A,则A的投影矩阵为
则,向量x在空间中的投影为:Px(Px可以看做x在空间A上的投影系数,所以在OMP中,将Px视为稀疏表示的系数。通过与最小二乘的比较,发现,Px与最小二乘解一致,此间联系,值得挖掘)
(2)OMP算法思想
MP基本原理:从字典矩阵D(也称为过完备原子库中),选择一个与信号 y 最匹配的原子(也就是某列),构建一个稀疏逼近,并求出信号残差,然后继续选择与信号残差最匹配的原子,反复迭代,信号y可以由这些原子的线性和,再加上最后的残差值来表示。很显然,如果残差值在可以忽略的范围内,则信号y就是这些原子的线性组合。
OMP改进:OMP 算法是在 MP 算法的基础上进行改进的,其挑选原子的标准和 MP 算法一致,也就是在训练字典A里挑选和测试样本x最为匹配的字典原子[38]。不相同之处在于:OMP 算法在每一次迭代过程中对所挑选的全部原子先要执行 Schmidt 正交化操作,来确保每一次循环结果都是最优解。使得在同等精度的条件下,OMP 算法的性能更好,其收敛速度也更快。
疑问1:如何保证同一个原子不会被多次选中?
解答:在正交匹配追踪OMP中,残差是总与已经选择过的原子正交的。这意味着一个原子不会被