论文《3D Shape and Indirect Appearance By Structured Light Transport》学习

《结构光传输的三维形状和间接外观》（2014 CVPR）

Abstract

我们考虑的问题，故意操纵直接和间接的光通过一个时变的，完全一般的场景，以简化其视觉分析。我们的方法建立在立体测地法和光传输之间的关键联系上:直接光总是服从投影-摄像机对的极外几何，而间接光则完全不服从。我我们证明有可能将这种观测转化为一种成像方法，在获取之前在光学领域实时分析光传输。这产生了三个关键的能力，我们证明在一个实验相机原型: (1)无论几何或光度复杂性如何，为任何场景生成实时的间接视频流;(2)捕获使现有结构光形状恢复算法对间接传输具有鲁棒性的参数;(3)将其转化为动态三维形状捕获的一次性方法。

1. Introduction

计算机视觉中的一个常见假设是光沿着直接路径传播，即光在场景中最多通过一次反弹从光源到相机。虽然这一假设在许多情况下都很有效，但通过自然场景的光传播实际上是一个更复杂的现象：光反射和折射，它经历镜面反射和漫反射相互反射，它在体积上散射并创建焦散，并且可能在同一场景中执行上述所有操作。用传统相机分析所有这些现象是一个困难的、开放的问题，而且当场景是动态的并且光传输的变化是不可预测的时，就更加困难了。

尽管这一问题本身存在一定的困难，但间接转换是实现真实场景[1]的重要组成部分，也是理解场景和材料的重要线索。这也是阻碍更广泛使用结构光技术的一个主要因素，因为结构光技术主要采用直接或低频光传输。，三维激光扫描[3,4]，主动三角测量[5,6]和光度立体[7])。

为了进一步分析复杂的光传输场景，本文开发了一个实时成像的框架。我们的重点是在一般情况下，其中场景未知，其运动和光度性质不受限制;它的照明一般来自一个或多个可控源(如投影仪)。从第一性原理出发，我们证明了在投影仪-相机系统中，两类传输路径支配着图像的形成：满足熟悉的极线约束并有助于场景的直接图像的极线路径和有助于场景的间接图像的非极线路径。至关重要的是，虽然这些路径的贡献很难在图像中分离，但在获取之前，这些路径本身很容易在光学领域中解开。以这一思想为出发点，我们开发了一种称为结构光传输(SLT)的新技术，该技术从光学上对极上和非极上路径进行处理，以实现实时成像和三维形状恢复。特别地，我们定义并解决了四个成像问题:

• 单镜头间接成像 :捕获只记录间接光线的图像;
• 一次成像的间接不变 :给定任意的照明，捕获光似乎只通过直接路径运输的图像;
• 双镜头直接成像: 捕捉两张只包含直射光的图像;
• 一个镜头多模式成像 :给定任意N≥2个所需的照明，捕获一个图像，“包装”成一个镜头的场景，每个心-响应所需的照明。

对于如何在我们考虑的一般情况下解决这些问题，目前所知甚少。我们的解决方案根植于计算机视觉，只在光学领域操作，不需要计算后处理: 我们的实现是一个物理设备，它只输出实时视频，这是可选的处理“下游”的标准3D重建算法（5），它可以忽略在场景中发生的光传输的复杂性。该设备本身是一种新颖的组合，现有的现成的传统相机，在一个同步操作的数字微镜装置（操作系统），在一个同步操作。

从实用的角度来看，我们的工作提供了四个主要的贡献超过目前的水平。首先，这是第一个演示的“间接性摄像机”，即。这是一种实时传输的非直接式视频的摄像机，它可以显示任意运动、焦散、镜面互反射和许多其它传输效果。先前的间接成像工作要么局限于静态场景[9，10]，要么是假定的漫反射/低频传输[2，11]和精确的二维运动估计[11]。其次，我们将展示如何只用一个SLT镜头来捕捉对间接光不变的场景。这对于动态场景的成像特别有用，并且表示比仅直接成像[2，9]的进步，后者至少需要两个图像。第三，我们证明，无论模式的频率内容如何，任何结构光模式的集合都可以对间接光具有鲁棒性。这涉及到简单地从传统图像切换到SLT图像—而不改变处理它们的模式或算法。因此，我们的工作与之前的工作形成了鲜明的对比，之前的工作是关于运输的——稳健的结构光，它将责任放在模式本身的设计上[6,12 - 14]。第四，我们证明了SLT成像可以将任何多模式的三维结构光方法转化为动态形状捕获的一次性技术。因此，为了提高深度图的分辨率和对间接光的鲁棒性，可以利用以前不适用的技术来解决这个问题[5,15 - 18]。作为概念的证明，我们在图9中演示了通过结合间接不变性slt图像和常规六模式相移，从单色视频的单个帧重建稠密深度和反照率。

从概念上讲，我们的工作与传统的结构光有一个本质上的区别[2,5]:我们不仅通过投射模式来控制光源，还通过在摄像机像素前的DMD掩模来控制目标光源。这种同步的投影和掩模使得分析光的几何输运成为可能(通过阻断3D光路)，而不是直接分析光场(通过阻断特定的输运频率并对受限的场景反射率[2]进行相加)。它还支持光域实现，与捕获后处理相比，光域实现具有显著的速度和信噪比优势。该想法首次用于静态场景和同轴投影仪/相机，其中极几何是退化的，立体声是不可能的。虽然SLT成像建立在这项工作的基础上，但其前提、理论、应用和物理实现都是不同的。

7. Concluding Remarks

我们认为，光学域处理——尤其是slt图像处理——为分析复杂场景的外观提供了一种强大的新方法，并提高了现有重建算法的能力。虽然我们的重点主要放在单色光和传统相机上，但SLT成像既不依赖于这两种技术;将该框架与其他成像维度(偏振、波长、时间等)集成是一个很有前途的方向。最后但并非最不重要的是，虽然我们的原型依赖于DMD掩模和一些光学组件，但如果直接在传感器上实现逐像素处理，这些将变得不必要[27,28]。我们期待着这种技术的广泛应用。