基于压缩感知的高速摄像-读书笔记

本文章是基于ICCP论文Video from Stills:Lensless Imaging with Rolling Shutter的读书笔记

前言

高速摄影作为重要的科学分析工具，其价格昂贵使得应用并不广泛

每秒钟拍摄上千幅图片意味着高速摄影硬件的每个环节都需要应对极高的数据带宽，而CMOS传感器本身提取数据的速率就是有限的，也自然导致了高速传感器造价不菲

然而，眼下这篇论文利用压缩感知的原理开辟了一个全新的可能，使得普通传感器能够拍下高达4500FPS的片段

下图：文章中通过压缩感知复原的高速影像片段

概括

在详细讲解前，我们先概括这篇论文的总体原理：
传统意义上的摄影依赖于镜头将目标的聚焦实像投在传感器上，使得传感器上的位置和物体上的位置一一对应。我们去掉镜头，换上一块“漫射板”(diffuser)，让达到相机的光分散而不是聚焦。 这样物体上的每个位置的信息就会在传感器的各个位置得到体现，传感器上的每一行都包含了整个拍摄物体的信息，只是原先二维的图片现在被压缩、混合到一维，映射在传感器的每一行里。熟悉摄影的读者应该了解滚动快门原理(Rolling Shutter)，相机传感器并不是在一瞬间读取整个二维面积的，而是以极快的速度一行一行地读取。我们现在就利用这个特点，因为漫射相机的传感器每一行包含一整张图片的信息，所以我们每秒用滚动快门读取4500行像素，经过计算复原，即可得到每秒4500帧的高速影像。

这篇论文非常清楚地反映了压缩感知思想。
现代视频压缩算法可以做到非常高压缩比的高保真压缩，同样是用更少的空间表达更多的数据，然而压缩感知的本质区别在于，在收集（观察）数据时得到的已经是“压缩”的体现，再从这个“预压缩”的信息体现中恢复出原始版本，而不像是视频压缩算法，在收集数据时使用的是完整带宽，收集后再进行压缩
两者相比，压缩感知的作用在于节省数据收集/观察的带宽，或是在带宽有限时（比如新一代数据网络）传输更多的实用数据
如图所示，漫射板相机并不进行一对一的转换，而是将目标的信息分布在传感器各处 (原文 Fig 1)

漫射板

虽然名叫漫射板，这个装置并不会将光线随意散射，而是更近似于一组随机密布的球状镜片
文章作者制造漫射板的过程相当有趣，也清晰地解释了这块板的具体功能

1. 使用7mm半径钢珠在铜块压出随机位置的密布半球状洞
2. 以铜块作为模具，涂抹一层环氧树脂，并用玻璃片按压保证环氧树脂平坦
3. 紫外线照射使环氧树脂成型

漫射板与传感器之间的距离大致等于漫射板半球“镜片”的焦距
我们继续介绍配套硬件的复原模型
上图：单个点光源LED在经过漫射板后的成像。可以看到，传感器每个区域都包含点光源的信息 (Fig 5)

复原模型

关于underdetermined linear equation的总体描述

• $v$：原始图像
• $\tilde{v}$：传感器上的图像
• $b$：传感器通过滚动快门拍下的（含有k帧视频信息的）图片
• $v^{\ast }$：通过算法复原的原始图像

在硬件描述完毕后，我们继续介绍复原图片的过程

观察模型

$v\to \tilde{v}$

首先，将原物体转换为传感器观察的模型由以下公式表达：
$$\tilde{v}(x,y,t)=v\left(\frac{x}{m},\frac{y}{m},t\right)\stackrel{(x,y)}{\ast }h(x,y)(2)$$
这里，$\tilde{v}(x,y,t)$是传感器的$(x,y)$坐标在时间t时的观察

$v(\frac{x}{m},$