Computational periscopy with an ordinary digital camera 文献翻译

计算来自不同方向的光量，可以使漫反射表面在潜望镜中扮演镜子的角色——也就是说，在障碍物周围执行非视线成像。由于计算潜望镜到目前为止一直依赖于光的传播距离与飞行时间成正比，它主要是通过昂贵的、专门的超快光学系统(1 - 12)来实现的。这里我们介绍一种二维计算潜望镜技术，它只需要一张普通数码相机拍摄的照片。我们的技术可以在不需要控制或时变照明的情况下，恢复不透明物体和物体后面(但不完全被物体遮挡)的场景的位置。这种恢复是基于不透明物体的可见半影具有线性依赖于可以通过射线光学建模的隐藏的场景。使用廉价、无所不在的设备进行非视线成像在监测危险环境、导航和探测隐藏的敌人方面可能具有相当大的价值。

准确的图像场景或检测隐藏在直接视图中的对象的能力有许多潜在的应用。近年来，针对这类非视距成像的有源光学方法得到了发展，其中大部分方法依赖于瞬态成像。在典型的瞬态成像结构中，由光源和光探测器组成的成像设备缺乏对场景的直接视图，但具有对漫反射表面的直接视图，而漫反射表面本身具有对场景的直接视图。在漫反射表面上的一小块光脉冲照明产生NLOS场景的瞬态照明，这种瞬态照明是通过漫反射表面反射后到达探测器的光间接观察到的。基于瞬态成像的NLOS场景几何恢复首先通过多点定位1进行演示，将模型扩展到包含场景元素的可变反射率和非脉冲照明13。随后的研究使用瞬态成像来推断物体的形状，这些物体的非镜面表面隐藏在观察者的直接视线之外2，3。这些早期研究使用飞秒激光照明和皮秒分辨率的条纹照相机1 - 3。使用零差飞行时间传感器14 - 16可以大大降低瞬时成像采集的成本，并且随着单光子雪崩二极管(SPAD)探测器和具有时间相关单光子计数(TCSPC)模块的探测器阵列的可用性的增加，使得它们能够在基于瞬时成像的NLOS成像4 - 12中使用。带有TCSPC的spad在许多激光雷达(光探测和测距)应用中很常见，最近被用于远距离三维成像，以及从每个像素18-21检测到少至一个光子的光度和几何信息。除了降低成本NLOS成像系统，基于spad的系统使以前的往返距离从大约1米扩大到几米，以进行NLOS隐藏物体的估计5，并通过将望远镜与单元件SPAD 9耦合，使人类的远距离定位距离超过50米。此外，还演示了用皮秒激光和带有TCSPC的SPAD探测单个可见墙体的房间几何重建22。瞬态成像的其他已建立的应用包括目标运动和尺寸23的NLOS估计和角反射率特性的单视点估计24。

为了解决现有方法在实验室条件之外的高成本和不切实际的问题，我们开发了一种只使用普通数码相机的计算潜望镜技术。这种成像方法是无源的，NLOS场景的光能传递是由隐藏在视野中，不受控制的光源引起的。NLOS分辨率是基于计算反演感兴趣的场景对已知大小和形状的遮挡对象的半影的影响，这是在一个先验未知的位置。利用半影的先前技术需要精确了解遮挡物位置并使用激光照射和基于SPAD的检测25,26，需要遮光板运动27，或者具有更有限的目标，即对景物的运动部分进行一维投影28。最近的一项工作在光场重建中使用了一种复杂遮挡器的校准测量29。使用激光照射对运动物体进行NLOS跟踪 - 无图像形成 - 也已得到证实30。我们的方法不需要校准，控制照明，时间分辨光检测或场景运动，并获得一个全彩色二维(2D)图像。

我们使用由400万像素数码相机，20英寸（1英寸= 2.54厘米）液晶显示器（LCD）彩色显示器（4：3纵横比）和黑色矩形遮挡物体组成的实验装置演示尺寸为7.7厘米×7.5厘米，由7毫米宽的黑色扁平支架支撑（图1）的计算潜望镜。选择这种遮挡形状是为了计算方便，但是任何已知的遮挡形状和大小都可以类似地合并。在补充信息中还提供了使用三维非黑遮挡器的其他实验。液晶显示器发出的光，来自未知的显示场景和显示器的背景光，在1.03 m的距离上照亮一个与显示器正平行的方向上的可见的兰伯德白色表面。使用监视器方便地测试多个场景;使用2D和3D漫反射场景的额外结果在补充信息中给出。相机的测量，包括阴影和由遮挡器投射的半影，是一个原始的14位， 2016×2016像素图像颜色通道交叉根据拜耳过滤器RGBG模式。在对两个绿色通道进行平均并对每个颜色通道求平均16×16块之后，提取三个126×126图像（每个颜色通道一个）并传递给计算机算法以进行遮挡位置和场景图像恢复（图2）。

将遮挡器置于显示器与可见墙体之间的po处，显示器置于距离D处，则壁面贴片在pw处的辐照度为

其中f(x)是监控场景热辐射,并且上的积分表示来自pw处整个场景贡献的组合。被积函数的第一个权重因子模拟了通量密度的径向衰减(分母)和两个透视效应: 从壁面贴片相对入射光的方向，从监控像素相对于该像素的视角，用nx和nw分别表示监视器和壁面法线，表示向量参数与‖x‖2之间的夹角，表示向量的欧氏范数。第二个权重因子，是一个布尔值的可见性函数，当从x到pw的路径未被遮挡时，它等于1，否则为0。系数µ(x, pw)描述了监测辐射模型与观察角度的变化(见补充信息)。最后一项，b(pw)，表示来自建模场景区域S之外的可见墙壁上的源的贡献。方程(1)是计算机图形学中与我们的设置相适应的呈现方程31。

假设可见光墙的反射为Lambertian，可见光墙的低分辨率数码照片由离散化方程(1)表示，pw取(126)2 =相机视场(FOV)中的15876个值。也就是说，对于每个颜色通道，我们得到一个简单的仿射模型y = a (po)f + b，其中数码照片向量化为一个列向量，以及光传输矩阵A(po)有15 876行和若干列，这取决于尝试的重建分辨率(见补充资料)。形成隐藏场景的图像相当于为每个颜色通道反转得到的线性系统。

可见度函数 - 等效地，遮挡器的存在 - 对于反演的调节是重要的。在没有遮挡器的情况下，等式（1）中的加权因子对于f（x）的良好条件恢复（参见补充信息）2,13,25而言对x的依赖性太弱。遮挡器的存在会引入阴影和半影，使一些图像形成成为可能，但日常经验表明，这是非常有限的。在离散形式下，如果没有遮挡器，A的行非常相似，无法进行条件良好的反演。可见性函数的变化由于遮挡器的存在引起的反射增强了的反演条件，因为它的列变得更加不同。通过将场景平面的一部分视为可解的，当且仅当该部分在至少一个摄像机测量中可见，在至少另一个摄像机测量中不可见时，我们定义了一个计算FOV(图3;看到补充信息)。

从单快照相机测量y中恢复po和f是一个非线性问题。因为测量的数量(行)A(po))相对于隐藏场景的可恢复分辨率较大，测量值y位于低维仿射子空间附近，该空间依赖于遮挡位置po和背景b。从y估计到遮挡器的位置为

式中，A(po)为遮挡位置po的光传输计算矩阵;遗漏未知的b不会大大降低估计(参见补充信息)。通过对每个颜色通道求解该最大化而获得的三个估计值被平均以获得单个。

图1计算潜望镜实验设置。该标准数码相机由一台手提电脑控制，获得可见成像壁上的辐照度分布的快照，其由于从感兴趣的场景发出的光而被遮挡物体的半影诱导。感兴趣的场景显示在液晶显示器上，便于进行实验与许多场景。该快照通过计算机算法恢复感兴趣的场景图像，并估计隐藏遮挡器的位置。

 

鉴于估计遮光板位置,计算真实光传输矩阵A（po）的估计值。如果估计的遮光板的位置是完全正确和模型失配和背景的贡献是无足轻重,预乘法矢量测量y(每个颜色通道)的伪逆将产生的最小二乘估计隐藏场景的RGB内容。为了提高对噪声和模型失配的鲁棒性，我们利用现实场景中普遍存在的横向空间相关性，通过总变差（TV）正则化促进场景梯度的稀疏性。

其中运算符·表示TV半范数，λ是TV正则化参数。

为了进一步提高图像质量, 在解决优化问题的类似于方程(3)(见方程(7)的方法) 之前，我们采取不同的测量(垂直)的y邻国16×16像素的小块和相应的行。因为任何来自计算FOV之外的光都有缓慢的空间变化，对于邻近像素，背景贡献b近似恒定(也就是说,bi + 1 bi≈≈b)，因此约取消。

其中 是A的第i行。这也为环境光提供了一些稳健性，正如补充信息所描述的其他实验所证实的那样。最终，我们能够生成计算FOV的图像，因为y的所有显著变化都是由场景的这一部分造成的。

图2 |重建过程。

a，相机的测量数据被解交错，以提供来自拜耳模式测量的RGB数据，绿色通道为平均值。

b、估计遮挡位置。

c、摄像机测量值和估计遮挡位置的隐藏场景重建

图3 |计算视场。对于相机FOV的一部分（区域A）可见并且从相机FOV的另一部分遮挡的场景平面的部分形成计算FOV（区域B）。在计算FOV内，多个遮挡物边缘的投影落入相机FOV内的部分比仅有一个遮挡物边缘的投影落入相机FOV内的部分更好地受到调节。最佳条件区域是场景平面中所有四个遮挡边缘的投影都落在摄像机FOV内的部分(C区域)

我们还提出了一种替代的重建方法，当po变化时，该方法利用光传输矩阵的性质。 不准确的封堵器横向位置或深度导致所显示场景的移位或放大（或缩小）估计。利用这一观测结果可以产生多种额外的重构，这些重构被非线性地组合在一起，生成一个降噪的图像(见方法中的公式(8))。

每个hidden-scene补丁是一块35×35监控像素;因为监控1280×1024分辨率矩形场景像素了,每个大小1.12厘米×1.05厘米(表示层函数)。场景对齐到屏幕的顶部和左侧边缘，垂直位置为30.5 cm，水平位置为40.3 cm。相机可见墙的距离大约是1.5米,这样其视场43.7厘米×43.7厘米,集中在(74.1厘米,26.4厘米)。在这个配置中,几个36×29 scene-pixel测试图像是用来评估我们计算潜望镜。一个实验场景是一个拟人化的蘑菇图像，其尺寸近似为26厘米×19厘米(图4,顶部)。175毫秒的曝光在避免饱和的情况下最大限度地提高了信号强度，20次这样的曝光后取平均值，有效曝光时间为3.5秒。快照是通过估计遮挡器位置、数据与光传输矩阵的垂直差分以及图像估计，将数据反馈给计算机算法生成重构(图4c，上)。这个快照 (图4 b顶部)也送入另一台计算机算法来产生一个重建(图4 d顶部)估计的遮光板的位置,形成49图像估计7×7组假定遮光板位置,49的估计和非线性组合。为便于比较，根据快照与实际遮挡位置形成重建(图4e，顶部)。在桌面计算机上使用未优化的代码，初始遮挡估计需要18分钟，后续的隐藏场景恢复(使用近似的背景取消方法)需要额外48秒。大部分的计算时间用于形成一个A(po)矩阵(参见方法)。将曝光时间减至1秒以下，可拍摄每秒一帧的影片(补充影片)

图4不同隐藏场景的|重建。a、显示器上显示的四个地面真实场景。b、相机测量得到的相应场景。c，使用差分框架和估计的遮挡位置进行单个重建。d，降噪后的最终重构，结合49个假设遮挡点位置的重构得到，在估计数附近。e，假设真实遮挡位置的重构是先验已知的，使用与d相同的算法。

 

提供了另外三个场景的结果(图4，底部三行)。在避免饱和的同时使信号强度最大化所需的曝光时间在175ms和425ms之间变化，并且20次这样的曝光的平均值给出了计算方法的输入（图4b）。估计的遮挡位置载于补充表S1。

初始场景的结果(图4，顶部)表明，我们的计算成像方法能够清晰地解决中等大小的特征，如白色和红色斑块，以及较大的特征，如头部和黄色的脸;较小的特征，如眼睛和眉毛，是可见的，但精度较差。同样的，对于第二个场景(图4，从顶部开始的第二行)，在重建中甚至出现了白色的牙齿和帽子上的蓝色加号，以及更大的特征，例如脸和帽子。这两个场景表明，难以在视觉上区分的测量（图4b）可能产生明显且可清晰识别的重建。

遮挡器的位置估计大约有厘米精度(补充表S1)。基于估计遮挡位置的重构(图4c, d)与基于已知遮挡位置的重构(图4e)具有相似的质量，表明对遮挡位置知识的缺乏具有鲁棒性。

结果表明，物体投射的半影可能包含足够的信息，既可以估计物体的位置，又可以通过计算构造物体产生的计算FOV的图像。在这种情况下，我们证明二维彩色NLOS成像是可能的普通数码相机，不需要时变照明和高速传感。