范数讨论

范数可以这样认为：假如你的身高是173，那么在这个世界上身高为173的就是你，假如你有140斤重，那么这个世界上重140的人就是你；范数同时认为假如一个人身高无限的逼近你，那么其个体也在无限的逼近你，同样的这个人的体重也在无限的逼近你，范数定义了个体在数量上的独特性，也就是说用任意一个范数就可以定义你了，现实中我们之所以需用一大堆东西才能定义住一个人，是因为我们的数据并不是很精确，只能用大量类型的数据通过概率计算把你定住，如国家、省、学校、姓名、……，当其概率小于1/60亿（地球总人口）时，你就被定义了。当然个体的你是一个时间上的概念，由于你无时无刻不在发生着变化，一秒前的你和你并不是同一个人，因为一秒钟后你身上的范数变了，如细胞数目、分子数目等。
    范数告诉我们你并不是一个集合体（身高、体重、体积……），你的身高就已经决定了你就是你，同时你的身高与体重仅仅在定义你这个个体上有关系，假如你的身高与体重哪怕有一点点的联系，那就证明身高与体重这两个名词在范数上是不纯的，其中某个（如身高）必含有另一个也有的性状（纯的某个范数），同时也必含有另一个并不具有的性状，因为身高与体重这两个名词作为个体是独特的、唯一的，即二者联系是因为具有某一个或某一些同种范数，区别在于具有某个或某些不同种范数或范数在量上有区别，这世界根本没有纯范数，因为人们无法得到某个范数的确切值。
    最后，你=173cm=70kg=心跳65下=用的philips手机=……

 

L1范数  zz：http://hi.baidu.com/jrjian/blog/item/829a5decb63a3d3626979186.html

通常情况下，欠定线性方程是没有唯一解的，如果加上其他的条件则可以缩小解得范围，比如加上二范数最小化这个条件，则方程可以得到最小范数解，该解唯一，我们知道二范数是能量的度量单位，它是用来度量重构误差的，如果我们不用二范数改用另外的附加条件，比如稀疏性，要求方程的解具有最小数目的非零项，也就是零范数，那么方程到底有没有唯一解，怎么证明求得的是全局解而不是局部解，此外假设有全局的唯一解，那么求解过程呢，是一个NP问题，既然零范数具有现实意义，那么可不可以找它的近似解呢，这就引出了l1范数最小化问题，用1范数来代替0范数的话，他们最终求的解是不是一致，是不是1范数求的解一定是0范数解的近似值，这两个解得误差有多大，是不是可以被接受，当然这些问题不属于我们这些搞图像处理的小鱼小虾来研究，我们只需要接受结果就行，剩下的证明推导是那些搞应用数学的大牛的事情。

再看一下信号处理领域的Sparse，我们应该熟悉JPEG跟JPEG2000的区别吧，JPEG的核心算法是DCT，而后者是DWT，本质上，这两种处理方法都是将信号从一个域变换到另外一个域（把坐标系进行旋转，将信号投影到不同的基上），从而获得信号的稀疏表示，即用最少的系数来表示信号，不过DWT比DCT更加稀疏而已。信号不同，对应最稀疏表达的基也会不同，比如，对于一维信号可能小波基是最稀疏的，而对于图像而言，可能那些Curvelet和contourlet是最优的，对于有些信号，也有可能需要将几种基结合起来才是最优的。当然，我们可以通过求解零范数问题来得到信号的最稀疏表达。

人们习惯于用正交基来表示信号，直到最近几十年，人们才发现用冗余的基元素集合来表示信号能够取得更好的结果，当然我们追求的肯定是用最小数量的基元素来最优的表示信号，这就出现了信号的稀疏表示。

L1范数最小化最早并不是Donoho提出的，早在80年代，Fadil Santosa 和William Symes就曾提出了L1范数的最小化，而Donoho提出Compressed sensing 并不是换汤不换药，CS并不是解决信号在一个完备集里面的最优表示问题的，而是提出了一种新的信号采集或者测量方式，这种新的测量方式打破了Shannon-Nyquist定理在信号处理领域一手遮天的局面，已经提出，就引起了相关领域大批学者的关注。Shannon-Nyquist采样定理要求在信号的采集阶段以高于信号带宽的两倍采样率来获取信号，信号才能得到完美的重构，而CS则对信号的带宽不再作要求，取而代之的是稀疏性，满足条件的信号则可在远少于SN采样率的情况下精确的重构信号。

从数学上来说，CS是在一定的条件下求解欠定方程，条件包括x要是稀疏的，测量矩阵要满足RIP条件，那么欠定方程就会以很大的概率有唯一解

当然求解信号的稀疏表达问题，被分成两种类型：L1范数最小化，和启发式的贪婪算法。L1范数最小化是通过用L1范数来近似0范数，取1而不取1/2,2/3或者其他值，是因为1范数最小化是凸优化问题，可以将求解过程转化成有一个线性规划问题。