压缩感知（一）

压缩感知的提出基于一个非常朴素的问题，$Ax=b$能否有唯一解，当方程个数大于未知量个数时，这是肯定的。

但是当$m\lt \lt n$时，特别是当所求的$x$的值只集中在某些区域，就很难获得所需的答案。

当$x$满足一定的稀疏性时，就能够获得一定的唯一解。其中s-稀疏向量的定义如下

$$\sum_s:=\{ x\in \mathbb R^N :||x||_0 \le s\}$$

压缩感知就是基于对原信号的观测$y$，其中$y=\Theta x_0$，$y \in \mathbb R^n，x \in \mathbb R^N$，在$n<<N$的情况下，借助$x_0$的稀疏性，反求原信号$x$。

原理

$R^n到R^N的映射记为\Delta$，则还原效果可以表示为$||x_0-\Delta (\Theta x_0)||_X$，其中$X$表示一定范数。当$x_0$中非0元素较少时，一种自然的解码即是如下规划问题的解

$$P_0： \min_{x\in \mathbb R^N} ||x||_0 \\ \qquad \qquad s.t. \Theta x=y$$

如果我们对$\Theta$作一定的限制，由$P_0$就可以精确恢复$x$信号：

定理 $\quad$ 假定$\Theta \in \mathbb R^{n*N}$是一个任$2s$列均线性无关的矩阵。我们选择$P_0$解码。那么对于任意的$x_0\in \sum_s$，

$$\Delta(\Theta x_0)=x_0$$
上述定理即表示为了恢复嵌入在N维空间中的s-稀疏向量，需要2s次的观测。但是实际上 $P_0$是一个NP完全问题，为此，付出更多观测代价，找到以下更有效的算法，
$$P_1： \min_{x\in \mathbb R^N} ||x||_1 \\ \qquad \quad \quad s.t. \Theta x=y$$
上述规划问题可以转换为以下形式，
$$P_2： \min_{t\in \mathbb R^N} t_1+t_2+...+t_N \\ s.t. \Theta x=y \\ \qquad \quad \quad \qquad \qquad \quad t_i \ge 0,i=1,2,...,N.\\ \qquad \quad \quad \quad -t_j \le x_j \le t_j$$
为了得到 $P_0$和 $P_1$等价的条件，首先定义指标集 $T\subset \{1,...,N\}$及向量 $v \in \mathbb R^N$，将 $v$中指标在$T$中的元素取出构成新的向量 $v_T \in \mathbb R^{\#T}$。
定义 $\quad$ 称 $\Theta$满足s-阶零空间性质，如果任意的 $v \in ker\; \Theta$，均有
$$||v_T||_1\le||v_{T^c}||_1,对任意的T\subset \{1,...,N\},\#T=s.$$
上述定义可以理解为 $ker\; \Theta$的非零元素较为均匀地分布，而不是集中在某 $s$个元素上。
定义 $\quad$如果选择 $P_1$的解法， $\Theta$满足且仅满足s-阶零空间性质，那么，对于任意的 $x_0\in \sum_s$，
$$\Delta(\Theta x_0)=x_0$$
但是给定一个矩阵的零空间性质很难在理论或者计算上证明，因此提出了另一种刻画方式矩阵的 $\bbox[yellow]{RIP性质(Restricted Isometry Property)}。$
定义 $\quad$如果存在常数 $\sigma_s \in [0,1)$使得
$$(1-\sigma_s)||x||^2\le ||\Theta x||^2 \le (1-\sigma_s)||x||^2$$
对任意的 $x\in \sum _s$成立，其中 $\sigma_s$被称为RIP常数。上述定义可以理解为矩阵 $\Theta_T^T\Theta_T$所有特征值位于区间 $[1-\sigma_s , 1+\sigma_s]$，刻画了矩阵 $\Theta$中任取 $s$列所形成矩阵的正交程度。
下面给出$P_1$能精确s-稀疏信号的充分条件，
定理 $\quad$假定矩阵 $\Theta$满足2s阶RIP性质，且RIP常数 $\sigma_{2s}\le \sqrt{2}-1$，则在 $P_1$中，对任意的 $x_0\in \sum_s$，
$$\Delta(\Theta x_0)=x_0$$
对于非稀疏信号，也能进行较好地恢复。
定理 $\quad$假定矩阵 $\Theta$满足2s阶RIP性质，且RIP常数 $\sigma_{2s}\le \sqrt{2}-1$，则在 $P_1$中，对任意的 $x_0\in \mathbb R^N$，
$$\bbox[yellow] { ||\Delta(\Theta x_0)-x_0||_2\le C_0{{\sigma_{s}(x)_1}\over{\sqrt{s}}},\\ } 其中，C_0为常数，\\ \sigma_{s}(x)_X：=\min_{z\in \sum_s}||x-z||_X，x\in \mathbb R^N\\ \sigma_{s}(K)_X：=\min_{x\in k}\sigma_{s}(x)_X，K \subset \mathbb R^N$$
那么对于 $P_1$，为了精确恢复所有s-稀疏信号，观测次数 $n$应该为多少？
定理 $\quad$假定 $\Theta \in \mathbb R^{n*N}$，且使用 $P_1$恢复。那么，如果，
$$\Delta(\Theta x_0)=x_0，对任意x \in \sum_ {2s},$$
则
$$n \ge c_1slog\left ({{N}\over{c_2s}} \right ),\\ 其中c_1={{1}\over{log9}}，c_2=4$$

本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可