L1范数 系数表达

摘自：http://hi.baidu.com/jrjian/item/38ad9c8139aeccdad1f8cd04

L1范数

通常情况下，欠定线性方程是没有唯一解的，如果加上其他的条件则可以缩小解得范围，比如加上二范数最小化这个条件，则方程可以得到最小范数解，该解唯一，我们知道二范数是能量的度量单位，它是用来度量重构误差的，如果我们不用二范数改用另外的附加条件，比如稀疏性，要求方程的解具有最小数目的非零项，也就是零范数，那么方程到底有没有唯一解，怎么证明求得的是全局解而不是局部解，此外假设有全局的唯一解，那么求解过程呢，是一个NP问题，既然零范数具有现实意义，那么可不可以找它的近似解呢，这就引出了l1范数最小化问题，用1范数来代替0范数的话，他们最终求的解是不是一致，是不是1范数求的解一定是0范数解的近似值，这两个解得误差有多大，是不是可以被接受，当然这些问题不属于我们这些搞图像处理的小鱼小虾来研究，我们只需要接受结果就行，剩下的证明推导是那些搞应用数学的大牛的事情。
再看一下信号处理领域的Sparse，我们应该熟悉JPEG跟JPEG2000的区别吧，JPEG的核心算法是DCT，而后者是DWT，本质上，这两种处理方法都是将信号从一个域变换到另外一个域（把坐标系进行旋转，将信号投影到不同的基上），从而获得信号的稀疏表示，即用最少的系数来表示信号，不过DWT比DCT更加稀疏而已。信号不同，对应最稀疏表达的基也会不同，比如，对于一维信号可能小波基是最稀疏的，而对于图像而言，可能那些Curvelet和contourlet是最优的，对于有些信号，也有可能需要将几种基结合起来才是最优的。当然，我们可以通过求解零范数问题来得到信号的最稀疏表达。
人们习惯于用正交基来表示信号，直到最近几十年，人们才发现用冗余的基元素集合来表示信号能够取得更好的结果，当然我们追求的肯定是用最小数量的基元素来最优的表示信号，这就出现了信号的稀疏表示。
L1范数最小化最早并不是Donoho提出的，早在80年代，Fadil Santosa 和William Symes就曾提出了L1范数的最小化，而Donoho提出Compressed sensing 并不是换汤不换药，CS并不是解决信号在一个完备集里面的最优表示问题的，而是提出了一种新的信号采集或者测量方式，这种新的测量方式打破了Shannon-Nyquist定理在信号处理领域一手遮天的局面，已经提出，就引起了相关领域大批学者的关注。Shannon-Nyquist采样定理要求在信号的采集阶段以高于信号带宽的两倍采样率来获取信号，信号才能得到完美的重构，而CS则对信号的带宽不再作要求，取而代之的是稀疏性，满足条件的信号则可在远少于SN采样率的情况下精确的重构信号。
从数学上来说，CS是在一定的条件下求解欠定方程，条件包括x要是稀疏的，测量矩阵要满足RIP条件，那么欠定方程就会以很大的概率有唯一解
当然求解信号的稀疏表达问题，被分成两种类型：L1范数最小化，和启发式的贪婪算法。L1范数最小化是通过用L1范数来近似0范数，取1而不取1/2,2/3或者其他值，是因为1范数最小化是凸优化问题，可以将求解过程转化成有一个线性规划问题