为什么正交匹配追踪(OMP)一定能恢复信号？

题目：为什么正交匹配追踪(OMP)一定能恢复信号？

        上一篇《正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同》中提到：你怎么知道通过OMP等重构算法求出的θ就是原来的x=Ψθ中的那个θ呢？为什么通过OMP迭代后一定会选出矩阵A的那几列呢？会不会选择A的另外几列，它们的线性组合也满足y=Aθ？本篇来回答这个问题。

        首先我们要知道，两个k稀疏的N维信号（长度为N的列向量）θ_k1和θ_k2，它们的差向量(θ_k1－θ_k2)的稀疏度最大不超过2k（当θ_k1和θ_k2中的非零项都没有对应在同一位置时）。

        其次我们要回忆RIP性质及spark常数，分别可参见《压缩感知测量矩阵之有限等距性质（RestrictedIsometry Property,RIP）》和《压缩感知测量矩阵之spark常数》。在这两篇中都提到若要恢复y=Aθ中k稀疏的θ，要求传感矩阵A（传感矩阵A=ΦΨ，即测量矩阵Φ乘以稀疏矩阵Ψ）至少任意2k列不相关。注意，这是压缩感知中A必须满足的一个条件。

        再次我们来回答开头提到的问题，符号与上一篇相同。

这里的θ为k稀疏的。所以上面的线性组合实际上只有k列，因为其它(N－k)列的组合系数为零。这里我们将待求的k稀疏θ记为θ_k1，即y=Aθ_k1。若θ_k1分别在t1,t2,…,tk共k个位置不为零，大小为θ_t1, θ_t2, θ_t3,…, θ_tk，则

其中A_t由A中的序号为t1,t2,…,tk的k列组成：A_t = [ a_t1, a_t2, a_t3,…, a_tk]，而θ_t是由θ_t1, θ_t2, θ_t3,…, θ_tk组成的列向量：θ_t = [θ_t1, θ_t2, θ_t3,…, θ_tk]^T，T表示转置。假设我们在使用OMP等恢复算法恢复过程中选择A的k列并非θ_k1所对应的k列，即相当于有另外一种线性组合Aθ_k2=y，其中θ_k2 分别在r1,r2,…,rk共k个位置不为零，大小为θ_r1, θ_r2, θ_r3,…, θ_rk，则

其中A_r由A中的序号为r1,r2,…,rk的k列组成：A_r = [ a_r1, a_r2, a_r3,…, a_rk]，而θ_r是由θ_r1, θ_r2, θ_r3,…, θ_rk组成的列向量：θ_r= [θ_r1, θ_r2, θ_r3,…, θ_rk]^T，T表示转置。这意味着Aθ_k1= Aθ_k2(也可以表示为A_tθ_t=A_rθ_r)，即A (θ_k1－θ_k2)=0。前面我们说了向量(θ_k1－θ_k2)的稀疏度最大不超过2k，并且传感矩阵A至少任意2k列不相关（任意2k列不相关的意思是任意2k列的线性组合都不为零，当然任意少于2k列的线性组合也不为零），这与A (θ_k1－θ_k2)=0矛盾。所以在传感矩阵A满足至少任意2k列不相关的前提下，通过OMP算法恢复出的θ是唯一的。

        最后我们回过头来看这个问题，实际上本质就是只要保证从θ到y的映射是一对一的，那么由某一个y只能恢复得到某一个θ，justbecause they are one-to-one。

        在文献[Joel A. Tropp and Anna C.Gilbert . Signal Recovery From Random Measurements Via Orthogonal MatchingPursuit[J]. IEEE Transactions on Information Theory, VOL. 53, NO. 12, DECEMBER2007.]中也有类似的证明，有兴趣的可以看一下，注意里面的符号与本文符号的区别即可。里面提到(N≥2m)，换成本文符号即为(M≥2k)，这个很容易理解，要保证传感矩阵A(M×N矩阵)的任意2k列不相关，即任意取出A的2k列组成一个矩阵A_2k是列满秩的。若列满秩，则列的个数必然要大于行的个数，所以(M≥2k)。