欠定线性方程组Ax=b的稀疏解， 一篇关于稀疏信号处理

from：http://blog.sina.com.cn/s/blog_5ea4087f0100cajs.html

近年来，国际运筹学界优化领域中一个新的研究主题：以压缩感知(Compressive Sensing)为重要背景的优化问题稀疏解理论引起了高度关注。压缩感知由于以尽可能小的采样获取大规模的稀疏信息，因而具有广泛的应用。

        经典的线性代数的一个核心成就是处理线性方程组的求解问题，然而直到最近该问题才有了更深入的研究和探索，并且得到了一系列更令人振奋的结果。今天主要关心一下欠定线性方程组Ax=b稀疏解的一些相关话题。

        针对欠定线性方程组的问题不外乎如下几个：

是否存在稀疏解，该稀疏解是否唯一，能否判断一个解是否是该问题的唯一稀疏解，如何有效地获得这个稀疏解，等等

可以用两个名次来概括上述这些问题：(P0)问题的唯一解(定义为，唯一性）和(P1)问题的唯一解(定义为，等价性)。

针对上述两个命题，已经发展了很多有价值的结果，例如：

(1)借助A的spark的唯一性命题和借助A的mutual coherence的唯一性命题；

(2)MP和BP算法，以及它们与唯一性和等价命题之间的关系，即Trop定理和Donoho定理

(3)一些更有效的优化方法，例如，iteratively reweighed least squares, Lars, homotopy,等等。这些方法均需要小心处理thresholding的问题

(4)Candes-Tao-Romberg定理和Tropp等人的结果；

(5)phase transition问题。

然而有许多问题需要解决，公开的问题如下：

(1)如果A具有一定的structure,能否利用该structure获得更strong的解唯一性和等价性命题；

例如，联合正交矩阵形成的A能否能够允许更多的解支撑，该A能否开发更有效的求解策略；

A结构是否拥有多尺度分解特性，该特性能否充分利用。

(2)贪婪算法和凸优化算法是解决该问题的两种主要策略，然而这些算法对于上述A结构能否拥有相同的performance.

已有的求解随机矩阵等结构的A的贪婪算法的计算性能对于该类A已经missing，为什么？

目前为止已经报道了针对该类A结构的凸优化算法性能，然而对于贪婪算法的研究还没有报道。

(3)更大的需求是开发快速的凸优化方法,研究贪婪算法和凸优化方法共性，开发它们的优势并且开发新的更有效的算法是目前研究的焦点

，也是今后研究的重点。或许，iterated shrinkage method，lasso和LARS算法能够给我们提供更多的启发。

(4)针对特性的A开发更strong的测不准原理应该是一个研究方向，因为mutual coherence是一个最坏的界。

(5)目前的唯一性和等价性命题都是针对所有的b而言的，能否得到与b有关的更strong的唯一性和等价性命题是一个研究内容。

今天读到一篇很不错的综述性文章，可以看作入门的文章吧。尽管里面有一些论点我不干苟同，但是这篇文章属于可以把我们目前遇到的

一些与稀疏有关的比较成熟的应用问题综合在一起，例如，稀疏阵列信号处理，COMPRESSED SENSING, 信道编码，信道估计，功率谱普估计，SCA，等，

很不错，值得推荐！

论文题目，A Unified Approach to Sparse Signal Processing

论文摘要:

A unified view of the area of sparse signal processing is presented in tutorial form by bringing together various fields in which the property of sparsity has been successfully exploited. For each of these fields, various algorithms and techniques, which have been developed to leverage sparsity, are describedsuccinctly. The common potential benefits of significant reduction in sampling rate and processing manipulations through sparse signal processing are revealed.
The key application domains of sparse signal processing are sampling, coding, spectral estimation, array processing, component analysis, and multipath channel estimation. In terms of the sampling process and reconstruction algorithms, linkages are made with random sampling, compressed sensing and rate of innovation. The redundancy introduced by channel coding in finite and real Galois fields is then related to over-sampling with similar reconstruction algorithms. The methods of Prony, Pisarenko, and MUltiple SIgnal Classification (MUSIC) are next shown to be targeted at analyzing signals with sparse frequency domain representations. Specifically, the relations of the approach of Prony to an annihilating filter in rate of innovation and Error Locator Polynomials in coding are emphasized; the Pisarenko and MUSIC methods are further improvements of the Prony method. Such narrowband spectral estimation is then related to multi-source location and direction of arrival estimation in array processing. The notions of sparse array beamforming and sparse sensor networks are also introduced. Sparsity in unobservable source signals is also shown to facilitate source separation in Sparse Component Analysis (SCA); the algorithms developed in this area are also widely used in compressed sensing. Finally, the
nature of the multipath channel estimation problem is shown to have a sparse formulation; algorithms similar to sampling and coding are used to estimate typical multicarrier communication channels.

刚刚在天涯上看到一幅图，名字叫“扯蛋”，有意思！希望我们踏踏实实地工作，不要像某些所谓的

狗屁院士，专家和教授一天到晚地扯蛋！