单脉冲雷达的相干干扰的研究文章_单像素相机成像简介

以下内容基于个人科研经验总结。由于个人水平有限，文献阅读量有限以及平时多用英文做学术交流，文章中难免有用词不当或者不清楚之处。欢迎大家指出。

单像素相机成像发展自鬼成像（ghost imaging），目前已经是计算成像的一种。在介绍单像素相机成像之前，我先简单介绍一下鬼成像的发展。

鬼成像最开始是由史砚华组做出来的（U of Maryland）。他们认为是一种量子效应，是依靠纠缠态的强相关性获得的相关成像技术。之后，Robert Boyd (U of Rochester) 意识到这种成像技术对二维相关性的要求实际上很弱的。人们依次使用赝热光（pseudo thermal light），structured illumination都成功实现了鬼成像。在这之后对于鬼成像的本质实际上分离出两个阵营：史砚华等人的量子效应阵营，和Boyd 还有Jeff Shapiro（MIT）的经典阵营。我个人的理解是这个技术完全是经典的，即使是最初的史砚华组的工作，在我看来也是完全可以脱离量子效应的。一个简单的理解就是A和B拿着电话汇报观测结果，当A的探测器在做二维扫描到某个像素上观测到光子event而B没有，我们就认为这个像素对应的B所在光路的相应空间位置有物体，做上标记。对所有的相机像素重复这个过程，那么自然而然的所有做过标记的位置就对应的是B光路中的物体的像。因此，这里的光的空间的关联性完全不需要到纠缠这个量级。

图为史老师原作中插图。Pittman, Todd B., et al. "Optical imaging by means of two-photon quantum entanglement." Physical Review A 52.5 (1995): R3429.

在鬼成像发展了13年后，2008年多个组同时提出来了计算鬼成像方案，这也就是单像素相机成像的雏形。这些方案本质上都是意识到了这样一个事实：鬼成像中的相机那一路只是起到记录光的illumination structure的作用。如果我们将illumination structure事先设计好并用这些设计好的光来照明物体，那么相机那一路完全没有用处。由此开始，计算鬼成像逐渐占据了鬼成像研究的主导地位，而称呼也逐渐用更为严谨的单像素相机成像。

在介绍单像素相机成像原理之前，我先介绍一下我对成像系统的理解：成像的本质在于利用离散化的探测器采样连续的携带信号的电磁场的空间分布。这里有这么几点需要注意：

1. 离散化的测量过程实际上对应的是对一个N维（假设离散为N像素成像）向量的测量过程。而测量的不同方式对应的不同的算符(operator)。也就是说，整个测量过程实际上就是在一个希尔伯特空间中寻找合适的基来表示这个向量的过程。
2. 系统的分辨率实际上受限于两点，第一是离散化的探测器本身的大小（pixel resolution），第二是电磁场携带的信号的分辨极限。我们常常谈起的衍射极限实际上指的是第二点，但是我们接下来在讨论单像素相机成像中提及的分辨率将更多的是第一点。
3. 我们的成像系统本质上是对电磁场的空间分布做测量，这就导致了最为基础和自然的测量基矢就是空间坐标（position coordinates）。

在清楚了传统成像系统的本质后，我们就可以很方便的理解单像素相机成像。从线性代数基础知识可知，对于一个N维向量

，最有效率的表示办法是选择一组正交完备基来表示它：

而如果我们想要测量这个向量，只需要把它对每一个基矢做投影测量（projection measurement）来测得系数

即可（即做内积）。当然我们也可以不选择正交完备基而是使用非正交基来表示这个向量，代价就是我们需要测量的系数量也会增加从而效率下降。

由于正交完备基的多样性，我们实际上做测量时有着非常丰富的选择，而不一定要局限于最为基础的空间坐标下的自然基：

单位矩阵来做测量。但是我们不妨用这个作为例子来将理论和现实对应起来。考虑单位矩阵的特点可知, 最为基础和简单的空间分布测量方法就是对空间各个像素逐点采样，然后利用透镜将光聚焦到用单点探测器上测量。 在这个过程中，逐点照明对应的是将单位矩阵中每一行取出和待测向量做点乘，而单点探测器做测量则对应的是求和过程，最后的单点探测器测量的结果对应的就是该基矢的系数。由于这种逐点扫描的方法过于低效，并且这组自然基本身对空间的关联性毫无利用，人们将单点照明换成了平面波照明（plane wave illumination），相对应的，人们将多个单点探测器集成到二维平面上，也就是相机，从而实现了高效的空分复用（实现了即时测量）。由此可见，不论从理论上还是实践上，相机成为最为广泛使用的成像手段是再自然不过的。

当我们的正交基不再是单位矩阵，那么我们的照明光也需要进行变化，也就是所谓的结构光照明（structured illumination）。这个时候，由于每一个基矢中非零项的增加，对应的空间上的被采样点也会增加，理所当然的光场的二维相关性开始介入。由此发展出了多种有趣的结构光选择和照明顺序选择。比如说当我们选择阿达马矩阵（Hadamard matrix）作为正交基来编码照明光场，由于每一个基矢中都不存在零项，光场的二维相关性非常优秀，带来的优势就是对mean square noise的压制。

结构光的生成在实践中往往通过空间光调制器实现（SLM），这里既可以是强度调制器如digital micromirror device (DMD)，也可以是相位调制器如liquid-crystal-on-silicon spatial light modulator (LCOS SLM)。前者虽然效率较低，但是胜在高速宽谱并且廉价，以及对脉冲光较为友好。后者昂贵低速，但是胜在可以方便的实现相位和强度同时调控。不同于相机之处在于，结构光照明下的空间分辨率往往会受限于SLM的分辨率（微米级别），也就是说，利用结构光照明的单像素相机成像往往不是受diffraction limit限制，而是由于器件的pixel resolution限制。突破这种限制的方法往往是需要搭建高质量的成像系统将结构光更精细的relay到物体上。

回到单像素相机这个话题上。由上面的分析可知，单像素相机成像实际上是最为基础的一种手段，也是最为原始和朴素的手段，那么为什么我们又要把他拿出来研究呢？因为人们发现某些正交完备基具有更好的性质（比如Hadamard Matrix），同时在某些频段内并不存在高效的相机（比如太赫兹）。更进一步，在弱光条件下，对于那些每一行包含多个非零元素的正交基，他们对应的就是多个像素同时点亮并加以测量，那么相对于每个像素点单独测量的相机，我们将会获得更好的信噪比。但是单像素成像的缺点也是非常明显的，由于无法实现高效的任意空间分布的空间sorting，大多数单像素成像技术无法使用相机的空分复用技术，都只能选择在时间这个自由度上复用。这样就导致成像速度偏慢（尤其是大像素数目成像），即时成像需要付出更大成本。

对于这个问题的一个解决方案就是使用压缩感知技术。压缩感知的本质在于信号的稀疏性（sparsity）。 当我们选择测量的基时，我们总可以找到一个与当前测量基不相干的基，使得该向量在这个基中的大部分测量系数

都接近于0。因此，理论上我们只需要使用那些拥有大系数的基矢来进行测量即可高效的恢复出绝大部分信号。对于压缩感知的研究一直比较多，据我所知目前已经可以做到2%以内的压缩比即可恢复出高信噪比的信号。这应该算是一个对于单像素相机成像非常好的补充。

常见的应用场景：

1. 传统的二维可见光频段成像。这一部分是发展最早的，目前已经做得非常全了，其中包括实时的彩色视频速率（video rate）成像等。

Welsh, Stephen S., et al. "Fast full-color computational imaging with single-pixel detectors." Optics express 21.20 (2013): 23068-23074.

2. 三维成像。这一部分最早是由格拉斯哥大学（U of Glasgow）的Miles Padgett组做出来的（一作孙宝清老师目前在山大）。相对于传统的多相机三维成像，单像素相机成像表现出了更加简洁和经济的系统，并且对于misalignment具有更好的抗干扰性，在弱光条件下具有更好的抗噪声性。

Sun, Baoqing, et al. "3D computational imaging with single-pixel detectors." Science 340.6134 (2013): 844-847.

3. Lidar. 单像素相机成像和激光雷达的结合应该是最近10年才开始搞起来的，目前发展很快，我对这方面不怎么了解，这是我读过的一篇文章：

Gong, Wenlin, et al. "Three-dimensional ghost imaging lidar via sparsity constraint." Scientific reports 6 (2016): 26133.

Reports

4. 太赫兹成像。太赫兹频段由于没有良好的相机以及信号往往很弱，基本上可以说是天然的单像素相机成像的适用范围。这个领域并不是很新（起码有十几年了），但是由于并不存在太赫兹SLM导致应用受限。最近几年再次火了起来的原因是人们开始挖掘使用光频SLM来调制太赫兹，从而实现高效的成像。这些方法中包括利用调节载流子在半导体中的浓度，利用结构光泵浦以及利用结构光做探测等。

Zhao, J., E, Y., Williams, K. et al. Spatial sampling of terahertz fields with sub-wavelength accuracy via probe-beam encoding. Light Sci Appl 8, 55 (2019).

5. 无透镜成像。当我们不需要采用透镜聚焦的时候，实际上也可以利用算法恢复出像。该技术的问题就是需要一个time sensitive sensor和平整物体的假设。由于这个限制较大，我个人并不看好这个方向。

G. Satat, M. Tancik and R. Raskar, "Lensless Imaging With Compressive Ultrafast Sensing," in IEEE Transactions on Computational Imaging, vol. 3, no. 3, pp. 398-407, Sept. 2017.

6. 利用单像素成像做biomedical microscopy。这是和别人讨论来的想法，具体不方便多说，但是我们认为将单像素相机技术和别的技术可以良性结合，从而提高biomedical microscopy的性能。更多的biomedical成像可以参考 @潘安 的讲义。

7. 和深度学习的结合。我对这方面并不怎么了解，确实有一些工作显示出了深度学习对于单像素成像质量的提高，但是我并不认为他们能够解决单像素成像技术最大的瓶颈。

目前先写到这里，有想到的再更新补充。