压缩感知基础入门知识

压缩感知

压缩感知是2006年才开始兴起的研究方向,它主要是借助自然信号的规律性,从而可大大减少观测次数。这在很多领域都有很好的应用前景。对于自然信号的规律性,用数学语言可以做很多种描述,比较流行的一种就是自然信号在一组基底表示下是稀疏的。

压缩感知说的是对于方程组 A x = b Ax=b Ax=b A A A m × N m\times N m×N,这里 m < N m<N m<N的矩阵,什么条件下,能保证 x x x
是唯一可解的。为什么叫压缩感知呢?举个简单的例子。一幅 256 × 256 256\times 256 256×256的图像,可以把它拉成一条 N = 25 6 2 N=256^2 N=2562长度的列向量 x x x,通过 A A A的"压缩",可以变成一个 m m m长的列向量 b b b进行存储,就节省了存储空间。另一方面,我们有了 b b b,我们希望将 x x x唯一地"感知"和恢复出来。因为这是一个欠定的方程组,解不唯一,所以我们必须要加一些约束条件,使得能从 b b b向量,唯一地恢复处 x x x,这就是压缩感知要干的事情。

不做冗长的赘述和无用的借鉴参考和复制黏贴,下面我写一些精华的内容。纯自证手打,内容不多,但都是心血。

1

定理:
假设 A ∈ R m × N A\in \mathbb{R^{m\times N}} ARm×N,那么为任 x 0 ∈ R N x_0\in \mathbb{R^N} x0RN,且 ∥ x 0 ∥ 0 ≤ s \left\|x_{0}\right\|_0\leq s x00s,那么
arg ⁡ min ⁡ x ∈ R n { ∥ x ∥ 0 : A x = A x 0 } = x 0 \underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{0}: Ax=A x_{0}\right\}=x_{0} xRnargmin{x0:Ax=Ax0}=x0
当且仅当 A A A中任 2 s 2s 2s列线性独立。
证明:
⇐ \Leftarrow 假设 A A A中任 2 s 2s 2s列线性独立,用反证。

假设存在 z 0 ∈ R N z_0 \in \mathbb{R}^{N} z0RN ∥ z 0 ∥ 0 ≤ s ( z 0 ≠ x 0 ) \left \|z_{0} \right\|_0 \leq s (z_0 \neq x_0) z00s(z0=x0) A z 0 = A x 0 Az_0=Ax_0 Az0=Ax0 → \rightarrow A ( z 0 − x 0 ) = 0 A(z_0-x_0)=0 A(z0x0)=0

∥ z 0 ∥ 0 ≤ s \|z_{0}\|_0\leq s z00s ∥ x 0 ∥ 0 ≤ s \|x_{0}\|_0\leq s x00s,则
∥ z 0 − x 0 ∥ 0 ≤ 2 s \|z_0 - x_{0}\|_0\leq 2s z0x002s

A ( z 0 − x 0 ) = 0 A(z_0-x_0)=0 A(z0x0)=0 → \rightarrow 存在 k k k列线性相关且 k ≤ 2 s k\leq 2s k2s,矛盾。

⇒ \Rightarrow
假设 arg ⁡ min ⁡ x ∈ R n { ∥ x ∥ 0 : A x = A x 0 } = x 0 , ∀ x 0 , ∥ x 0 ∥ 0 ≤ s \underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{0}: Ax=A x_{0}\right\}=x_{0},\forall x_0,\|x_0\|_0\leq s xRnargmin{x0:Ax=Ax0}=x0,x0,x00s

用反证。

假设 A = ( a 1 , a 2 , ⋯   , a n ) ∈ R N A = (a_1,a_2,\cdots,a_n)\in \mathbb{R}^N A=(a1,a2,,an)RN,其中 { a 1 , a 2 , ⋯   , a 2 s } \{a_1,a_2,\cdots,a_{2s}\} {a1,a2,,a2s}线性相关。
x 1 a 1 + ⋯ + x 2 s a 2 s = 0 x_1a_1+\cdots+x_{2s}a_{2s}=0 x1a1++x2sa2s=0

那么存在
x 0 = ( ⋯   , 0 , ⋯   , x 1 , x 2 , ⋯   , x s , ⋯   , 0 , ⋯   ) ∈ R N x_0=(\cdots,0,\cdots,x_1,x_2,\cdots,x_s,\cdots,0,\cdots)\in \mathbb{R}^N x0=(,0,,x1,x2,,xs,,0,)RN
x ~ 0 = ( ⋯   , 0 , ⋯   , x s + 1 , x s + 2 , ⋯   , x 2 s , ⋯   , 0 , ⋯   ) ∈ R N \tilde{x}_0=(\cdots,0,\cdots,x_{s+1},x_{s+2},\cdots,x_{2s},\cdots,0,\cdots)\in \mathbb{R}^N x~0=(,0,,xs+1,xs+2,,x2s,,0,)RN

A x ~ 0 = A x 0 A\tilde x_0=Ax_0 Ax~0=Ax0,矛盾。

2

定义:
s p a r k ( A ) = n \mathrm {spark}(A) = n spark(A)=n A A A中任 n n n列线性独立,存在 n + 1 n+1 n+1列线性相关。 s p a r k ( A ) ≤ r a n k ( A ) \mathrm {spark}(A) \leq \mathrm{rank}(A) spark(A)rank(A)

3

考虑 m i n ∥ x 1 ∥ 1 s . t . A x = A x 0 \begin{aligned} % \nonumber to remove numbering (before each equation) \mathrm{min} & \|x_1\|_1 \\ \mathrm{s.t.} & Ax=Ax_0\end{aligned} mins.t.x11Ax=Ax0 在什么样的条件下,
arg ⁡ min ⁡ x ∈ R n { ∥ x ∥ 1 : A x = A x 0 } = x 0 \underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A x_{0}\right\}=x_{0} xRnargmin{x1:Ax=Ax0}=x0
对任意的 ∥ x 0 ∥ 0 ≤ s \left \|x_{0} \right\|_0 \leq s x00s

4

定义:

称矩阵 A A A满足k-阶零空间性质,若 ∀ η ∈ N ( A ) \ 0 , ∀ T ⊆ { 1 , 2 , ⋯   , N } , ∣ T ∣ ≤ k \forall \eta \in \mathcal N(A)\backslash {0},\forall T\subseteq\{1,2,\cdots,N\},|T|\leq k ηN(A)\0,T{1,2,,N},Tk,有 ∥ η T ∥ 0 < ∥ η T c ∥ 0 \|\eta_T\|_0<\|\eta_{T^c}\|_0 ηT0<ηTc0。这里的 N ( A ) \mathcal{N}(A) N(A)表示 A A A的零空间。 η T \eta_T ηT表示 η \eta η T T T这些位置上取值,别的地方补零,长度不变。 T c T^c Tc表示 T T T { 1 , 2 , ⋯   , N } \{1,2,\cdots,N\} {1,2,,N}中的补集。

5

定理:
对任 x 0 ∈ R N x0\in \mathbb{R}^N x0RN ∥ x 0 ∥ ≤ k \|x_0\|\leq k x0k
arg ⁡ min ⁡ x ∈ R n { ∥ x ∥ 1 : A x = A x 0 } = x 0 \underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A x_{0}\right\}=x_{0} xRnargmin{x1:Ax=Ax0}=x0
当且仅当A满足k-阶零空间性质。
证明:
⇐ \Leftarrow 假设 A A A满足k-阶零空间性质,用反证。

假设
arg ⁡ min ⁡ x ∈ R n { ∥ x ∥ 1 : A x = A x 0 } = x ♯ ≠ x 0 \underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A x_{0}\right\}=x^{\sharp}\neq x_0 xRnargmin{x1:Ax=Ax0}=x=x0

那么 η = x ♯ − x 0 ∈ N ( A ) \eta = x^\sharp -x_0 \in \mathcal N(A) η=xx0N(A)

T = supp ( x 0 ) T=\text{supp} (x_0) T=supp(x0),只要证 ∥ η T ∥ 1 ≥ ∥ η T c ∥ 1 \|\eta_T\|_1\geq \|\eta_{T^c}\|_1 ηT1ηTc1

由假设,有 ∥ x ♯ ∥ 1 ≤ ∥ x 0 ∥ 1 \|x^\sharp\|_1\leq\|x_0\|_1 x1x01,进而
∥ x T ♯ ∥ 1 + ∥ x T c ♯ ∥ 1 = ∥ x T ♯ ∥ 1 ≤ ∥ x 0 ∥ 1 \|x_T^\sharp\|_1+\|x_{T^c}^\sharp\|_1=\|x_T^\sharp\|_1\leq\|x_0\|_1 xT1+xTc1=xT1x01

可得,
∥ η T c ∥ 1 = ∥ x T c ♯ ∥ 1 ≤ ∥ x 0 ∥ 1 − ∥ x T ♯ ∥ 1 ≤ ∥ ( x 0 − x ♯ ) T ∥ 1 = ∥ η T ∥ 1 \|\eta_{T^c}\|_1=\|x^\sharp_{T^c}\|_1\leq \|x_0\|_1-\|x_T^\sharp\|_1\leq\|(x_0-x^\sharp)_T\|_1=\|\eta_T\|_1 ηTc1=xTc1x01xT1(x0x)T1=ηT1

矛盾。

⇒ \Rightarrow
假设 arg ⁡ min ⁡ x ∈ R n { ∥ x ∥ 1 : A x = A x 0 } = x 0 , ∀ x 0 , ∥ x 0 ∥ 0 ≤ k \underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A x_{0}\right\}=x_{0},\forall x_0,\|x_0\|_0\leq k xRnargmin{x1:Ax=Ax0}=x0,x0,x00k

用反证。

假设 ∃ η ≠ 0 \exists \eta \neq 0 η=0 ∃ T , ∣ T ∣ ≤ k \exists T,|T|\leq k T,Tk ∥ η T ∥ 1 ≥ ∥ η T c ∥ 1 \|\eta_T\|_1\geq \|\eta_{T^c}\|_1 ηT1ηTc1,那么
A η = A ( η T + η T c ) = 0 A\eta = A(\eta_T+\eta_{T^c})=0 Aη=A(ηT+ηTc)=0 ⇓ \Downarrow
A ( η T ) = A ( − η T c ) A(\eta_T) = A(-\eta_{T^c}) A(ηT)=A(ηTc)

由假设,因 ∥ n T ∥ 0 ≤ k \|n_T\|_0\leq k nT0k,有
arg ⁡ min ⁡ x ∈ R n { ∥ x ∥ 1 : A x = A η T } = η T \underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A \eta_{T}\right\}=\eta_{T} xRnargmin{x1:Ax=AηT}=ηT

故而 η T c = η T \eta_{T^c}=\eta_T ηTc=ηT,可知 η = 0 \eta=0 η=0,矛盾。

6

定义:
矩阵 A ∈ R m × N A\in \mathbb{R}^{m\times N} ARm×N满足k-阶RIP条件,如果
( 1 − δ k ) ∥ x ∥ 2 2 ≤ ∥ A x ∥ 2 2 ≤ ( 1 + δ k ) ∥ x ∥ 2 2 (1-\delta_k)\|x\|^2_2\leq\|Ax\|^2_2\leq(1+\delta_k)\|x\|_2^2 (1δk)x22Ax22(1+δk)x22
对任意 x ∈ R N , ∥ x ∥ 0 ≤ k x\in \mathbb{R}^N,\|x\|_0\leq k xRN,x0k,成立。这里 δ k ∈ ( 0 , 1 ) \delta_k \in (0,1) δk(0,1)

7

定理:

如果矩阵 A ∈ R m × N A\in \mathbb{R}^{m\times N} ARm×N满足2k阶RIP条件, δ 2 k < 2 − 1 \delta_{2k}<\sqrt 2-1 δ2k<2 1,那么对任意 x ∈ R N , ∥ x ∥ 0 ≤ k x\in \mathbb{R}^N,\|x\|_0\leq k xRN,x0k,有
arg ⁡ min ⁡ x ∈ R n { ∥ x ∥ 1 : A x = A x 0 } = x 0 \underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A x_{0}\right\}=x_{0} xRnargmin{x1:Ax=Ax0}=x0

参考文献
000 R. DeVore, Deterministic constructions of compressed sensing
matrices, Journal of Complexity 2007, 23: 918-925. Z. Xu, Deterministic
sampling of sparse trigonometric polynomials, Journal of Complexity
2011, 27: 133-140. J. Bourgain, S. J. Dilworth, K. Ford, S. Konyagin and
D. Kutzarova, Explicit constructions of RIP matrices and related
problems. Duke Math. J, 2011, 159: 145- 185. Guangwu Xu, Zhiqiang Xu,
Compressed Sensing Matrices from Fourier Matri- ces, arXiv:1301.0373. W.
Yin, S. Osher, D. Goldfarb, and J. Darbon, Bregman iterative algorithms
for l1-minimization with applications to compressed sensing, SIAM
Journal on Imaging Sciences, 2008, 1: 143-168. Z. Xu, A remark about
orthogonal matching pursuit algorithm, arXiv:1005.3093. Lorne Applebauma
, Stephen D. Howard, Stephen Searle, Robert Calderbank, Chirp sensing
codes: Deterministic compressed sensing measurements for fast recover,
Appl. Comput. Harmon. Anal. 26 (2009) 283-290. Z. Xu, Deterministic
sampling of sparse trigonometric polynomials, Journal of Complexity
2011, 27: 133-140. E. Candes, Y. Eldar, T. Strohmer and v. Voroninski,
Phase retrieval via matrix completion, arXiv: 1109.0573. E. Candes, T.
Strohmer and V. Voroninski. PhaseLift: exact and stable signal recovery
from magnitude measurements via convex programming, arXiv: 1109.4499.
Yang Wang, Zhiqiang Xu, Phase Retrieval for Sparse Signals,
arXiv:1310.0873. Yaniv Plan, Roman Vershynin, One-bit compressed sensing
by linear program- ming, arXiv:1109.4299. Wenhui Liu, Da Gong, Zhiqiang
Xu, One-Bit Compressed Sensing by Greedy Algorithms, arXiv:1312.3418.

©️2020 CSDN 皮肤主题: 代码科技 设计师:Amelia_0503 返回首页