压缩感知入门（1）

压缩感知入门（1）

科学松鼠会压缩感知科普文章两篇：“压缩感知与单像素相机(陶哲轩)”“填补空白：用数学方法将低分辨率图像变成高分辨率图像(Jordan Ellenberg)"

1、压缩感知与单像素相机(陶哲轩,Terence Tao)

原文链接：http://songshuhui.net/archives/11006

观后感：压缩感知的提出是有意改变传统的信息采集中需要基于奈奎斯特原则的采集方式。文章以照相机图像采集为例，一个200万像素点的亮度采集，假设图像信息在小波变换上有大量的低值点（可认为无意义滤除），则只需要采集剩下的较少部分的有意义的点即可完成重构图像的任务。

重点在于：相机本身并不能事先预知那些点是有意义的，所以引入了压缩感知理论，如果相机能够事先感知到那些点是有意义的，那么在信息采集时直接采集这些有意义的点即可完成图像收集！

文章中的疑问段：就是用非小波的算法来做30万个测量——尽管我前面确实讲过小波算法是观察和压缩图像的最佳手段。实际上最好的测量其实应该是（伪）随机测量——比如说随机生成30万个“滤镜”图像并测量真实图像与每个滤镜的相关程度。这样，图像与滤镜之间的这些测量结果（也就是“相关性”）很有可能是非常小非常随机的。但是——这是关键所在——构成图像的2百万种可能的小波函数会在这些随机的滤镜的测量下生成自己特有的“特征”，它们每一个都会与某一些滤镜成正相关，与另一些滤镜成负相关，但是与更多的滤镜不相关。可是（在极大的概率下）2百万个特征都各不相同；更有甚者，其中任意十万个的线性组合仍然是各不相同的（以线性代数的观点来看，这是因为一个30万维线性子空间中任意两个10万维的子空间极有可能互不相交）。因此，基本上是有可能从这30万个随机数据中恢复图像的（至少是恢复图像中的10万个主要细节）。简而言之，我们是在讨论一个哈希函数的线性代数版本。

文章中给出的解决办法：

•匹配追踪：找到一个其标记看上去与收集到的数据相关的小波；在数据中去除这个标记的所有印迹；不断重复直到我们能用小波标记“解释”收集到的所有数据。

• 基追踪（又名L1模最小化）：在所有与录得数据匹配的小波组合中，找到一个“最稀疏的”，也就是其中所有系数的绝对值总和越小越好。（这种最小化的结果趋向于迫使绝大多数系数都消失了。）这种最小化算法可以利用单纯形法之类的凸规划算法，在合理的时间内计算出来。

2、填补空白：用数学方法将低分辨率图像变成高分辨率图像(Jordan Ellenberg)

原文链接：http://songshuhui.net/archives/38054

原文摘选：压缩感知的概念就是为了解决这样的矛盾而产生的。既然采集数据之后反正要压缩掉其中的冗余度，而这个压缩过程又相对来说比较困难，那么我们为什么不直接「采集」压缩后的数据？这样采集的任务要轻得多，而且还省去了压缩的麻烦。这就是所谓的「压缩感知」，也就是说，直接感知压缩了的信息。

如果要想采集很少一部分数据并且指望从这些少量数据中「解压缩」出大量信息，就需要保证：第一：这些少量的采集到的数据包含了原信号的全局信息，第二：存在一种算法能够从这些少量的数据中还原出原先的信息来。

第一件事情在所研究的场合往往是自动得到满足的。

第二件事就要归功于陶哲轩和坎戴的工作了。他们的工作指出，如果假定信号（无论是图像还是声音还是其他别的种类的信号）满足某种特定的「稀疏性」，那么从这些少量的测量数据中，确实有可能还原出原始的较大的信号来，其中所需要的计算部分是一个复杂的迭代优化过程，即所谓的「L1-最小化」算法。

寻找那个唯一正确的表示方式的关键在于一种叫稀疏度的概念。所谓稀疏度，是描述图像的复杂性或者其中所缺的一种数学方法。一幅由少数几个简单、可理解的元素（例如色块或者波浪线构成的图片）是稀疏的；满屏随机、散乱的点阵则不是稀疏的。原来在无限多的可能性中，最简单、最稀疏的那幅图像往往就是正解，至少很接近正解。

怎样进行数字运算，才能快速获得最稀疏的图像!!!答案：使用L1-最小化算法！

一个有趣的例子：这是因为每一个有趣的信号都是稀疏的，只要你能够正确定义它的稀疏性。例如，钢琴和弦的乐音是一小组不超过五个纯音符的组合。在所演奏的音频中，只有少部分频率包含有效的音乐信息，而其余大部分频段是一片无声地带。因此，你可以用压缩感知技术从“欠采样”的老旧唱片中重建出当时的乐章，而不用担心失去了由特定频率构成的声波的信息。只需要你手头的材料，就可以用L1范数极小化法以稀疏方式填补空白，从而获得与原音一般无二的旋律。