也谈压缩感知（compressive sensing）

CS framework：三个核心公式

压缩感知框架所要解决的是信号采样问题，如一个 $N$ 维的信号 $\mathrm{x}\in \Re^{N\times 1}$，与传统的信号采样的方法不同，我们不是对 $\mathrm{x}$ 直接进行 $N$ 次采样，而是对其进行 $M$ 次观测（已知 $M < N$）。这可表示为如下的欠定系统：

$$\textrm{y}=\Phi \textrm{x}$$
$\textrm{y}\in \Re^{N\times 1}$ 就是所谓的观测向量（measured vector）， $\Phi\in \Re^{M\times N}$是随机观测矩阵（random measurement matrix）。

压缩感知的理论要求，在给定观测值 $\textrm{y}$ 和观测矩阵 $\Phi$ 的条件下，要想唯一地重建出原始信号 $\textrm x$，$\textrm x$ 必须在某一给定的一组基 $\Psi$ 下是稀疏的。这意味着：

$$\textrm x=\Psi \textrm s$$
$\textrm s$ 就是所谓的 $K-sparse$，也即 $\textrm s$ 中最多有 $K$ 个显著不为零的元素。基（basis） $\Psi$ 可以是完备的（complete），也即 $\Psi \in \Re^{N\times N}$，也可以是超完备的（overcomplete），也即 $\Psi\in \Re^{N\times N_1}$，其中 $N<N_1$。由以上两等式可得：
$$\textrm y=\textrm A\textrm s$$
其中 $\textrm A=\Phi\Psi$。

单观测向量（SMV） vs 多观测向量（MMVs）

因为只有一个观察向量 $\textrm y$，以上问题又被称作单观测向量问题（SMV，Single Measurement Vector）在压缩感知的理论体系中。

有单观测向量问题，自然也就有多观测向量问题（MMVs，Multiple Measurement Vectors），其要解决的问题是，从 $L$ 个观察向量的集合 $\left \{\textrm y_i\right \}_{i=1,2,\cdots,L}$ 中重建 $L$ 个稀疏向量的集合 $\left \{\textrm s_i\right \}_{i=1,2,\cdots,L}$。