【Compressive Sensing】压缩感知初体验

压缩感知是由E. J. Candes、J. Romberg、T. Tao 和D. L. Donoho于2004年提出来的，但在此前已经出现了雏形，这个不深究。

陶哲轩曾经写过一篇关于压缩感知的科普文章《压缩感知和单像素相机》，最顶尖的科学奖写科普文章很难得，当然有必要学习。虽然这篇文章直言是为非数学专业的人写的，但是理解起来依然非常困难，因为涉及的数学知识非常多，下面我们一起来学习这篇文章，因为本人是初学者，还有很多问题没搞明白，请多多指教。

1、文章中有这句话：两百万个像素用8位灰度值就是2MB，16位灰度就是4MB。

理解：因为这里指的是灰度图像，而不是非黑即白的二值图像，所以如果用8位表示的话，在不压缩的情况下一个像素需要8bit（1字节，256种状态），而如果用16位表示的话，在不压缩的情况下一个像素需要16bit（2字节，65536种状态）。

2、不太高级的压缩技术引出的问题。

理解：对于给定的一张图片，我们可以选取可见色块中色差较小的某块，记录该块的维度、坐标和颜色，剩下微小的残余误差。然后继续搜索剩余的色块，直到整张图片只剩下色彩强度很小，肉眼无法察觉的细节。反向操作就可以还原出比原始图片质量低的重建图片，但是占用空间却小很多。

以上算法不适用于颜色剧烈变化的情况，实际应用不是很有效，因为颜色剧烈变化就没办法用平均色块来表示，而应该用“不均匀色块”表示：如果右半边色彩强度平均值大于左半边这样的色块。这种情况可以用二维Haar小波系统来描述，或者用人们后来发现的一种更平滑的小波系统避免误差，这是由小波的特性决定的（如果不太懂的，可以先去看一下小波相关的知识，定性理解一下），总之基本原理就是：把原始图像表示为不同“小波（类似于上文中的色块）”的线性叠加，记录显著的（高强度的）小波的系数，放弃掉（或者用阈值排除掉）剩下的小波系数。

JPEG 2000用的就是离散小波变换（DWT），但是比这种“小波系数阈值法”要精细很多。

而一张1024*2048的图像可能会有200百万自由度，因此需要200多万个不同的小波来描述，才可能完美重建，而从小波的角度来说，这些小波系数是稀疏的，只有一部分是重要的，另一部分提供极少有用的信息，可以舍弃掉，比如说200多万个小波系数只有10万是重要的，我们只需要记录这10万个就够了。

可是，我们并不知道哪10万个是重要