如何理解图像信号的稀疏性？

How to understand the sparsity of natural image ？
信号的稀疏性的研究第一个高峰期是1996年。甚至可以更早，Mallat的匹配追踪（MP）1993和Donoho的基追踪（BP）1995。大部分观点均认为，实际上所有的信号都是稀疏的，简单的举例就是无线通信，通信的频带总是有限的，（甚至带宽相对较大的超宽带通信也是如此）。后来，2000年的时候，《自然》陆续发表了相关文章，把这些想法发扬光大。
那么，什么是图像信号的稀疏性呢？本文中，图像特指自然图像（natural image），并且是数字形式。
（1）形式上的稀疏性
数字图像的存储形式就是2维矩阵（灰度图像1个二维矩阵，彩色图像多个二维矩阵）。假设图像的尺寸是64x64的，每个像素点在0-255之间。那么这个图像的可能性有多少呢？256^（64x64），太大了吧？
但是，在这么多可能性里面，实际上被人所接受的认为是图像的，少之又少，只有非常少的一部分。
我想这个应该是图像稀疏性最直白的解释了。
（2）稀疏模型
图像的稀疏模型主要用来解释图像的稀疏性。
我们可以列举如下：
局部模型：
（1）马尔科夫随机场（MRF），把图像看成领域连接的系统。本质上是降维的过程。
（2）TV模型，图像是连续的，本质还是降维。
（3）自回归模型，本质还是降维
（4）频域模型，从基的角度来分析稀疏性。如DCT，小波，瘠波，。。。。
（5）字典模型
非局部模型
非局部模型就是图像满足一定的自相似性。其实概念早就有了，最近几年（2005），逐步升温。最著名的要数BM3D去噪算法了。主要用到了一个非常有效的概念，collaborative filtering，其实我们每天上网有要用它。
当然，非局部模型是一个双刃剑，结果可能是最好的，也可能是最差了。如何有效的使用，困扰着不少人。