UA MATH567 高维统计专题1 稀疏信号及其恢复1 L0-norm minimization

这个专题我们讨论sparse signal recovery，作为这个专题的开头，我们先简单介绍一下sparse vector的norm；熟悉DSP的同学应该比较清楚，用vector和matrix来表示signal是非常常规的操作，那么sparse signal用sparse vector来表示就非常合理，之所以要从sparse vector的norm开始讨论是因为我们需要去理解一个很长的sparse vector的结构，并以此设计一些更高效的算法。

下图摘自Wright, Ma的高维数据分析图2.6

$L^p$-norm是我们高维数据中最常用的范数，
$${\Vert x\Vert }_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{1/p}$$

如果$p\ge 1$，则上面的定义是范数；如果$0<p<1$，则上式不满足范数公理化定义中的三角不等式，无法成为范数，如果需要三角不等式，则可以用下面这个定义
$$\sum _{i=1}^n|x_i{|}^p$$

但这个定义不满足正齐次性。从上图可以看出，当$p$减小时，$L^p$-ball中的vector被shrink得越厉害，对应在sparse signal的设定中，noise就会被shrink掉，而signal得以保留。因此我们总是希望被复原的signal的范数（$p$越小的范数越好）不大于某一个阈值。

$L^0$-norm

最小可能的$p$为0，按上面的分析$L^0$-norm就是最好用的，直观理解$L^0$-norm就是向量中不为0的元素个数
∥ x ∥ 0 = # { i : x i ≠ 0 } \left\| x\right\|_0=\#\{i:x_i \ne 0\} ∥x∥0​=#{ i:xi​​=0}

但是虽然叫$L^0$-norm，但它本身并不是一个范数，因为它不满足正齐次性：
$$\forall c\in \mathbb{R},{\Vert cx\Vert }_0={\Vert x\Vert }_0\ne c{\Vert x\Vert }_0$$

所以尽管它满足三角不等式，它也不是一个范数。

之所以我们称之为范数，并把它归为$L^p$-norm这一类，是因为
$$\underset{p\to 0}{\lim }{\Vert x\Vert }_p^p=\underset{p\to 0}{\lim }\sum _{i=1}^n|x_i{|}^p=\sum _{i=1}^n\underset{p\to 0}{\lim }|x_i{|}^p=\sum _{i=1}^n{1}_{x_i}$$