作者：
MOHIT GUPTA and SHREE K. NAYAR Columbia University and MATTHIAS B. HULLIN and JAIME MARTIN University of Bonn
摘要：
在基于相关性的飞行时间 (C-ToF) 成像系统中，具有时变强度的光源照亮场景。由于全局照明，传感器接收到的时变辐射是沿多条路径接收的光的组合。从接收到的辐射中恢复场景属性(例如场景深度)需要分离这些贡献，这具有挑战性，因为全局照明的复杂性和亮度的额外时间维度。
我们提出了相量成像，这是一个使用 C-ToF 传感器执行快速反向光传输分析的框架。相位成像基于这样一种思想:通过将光传输量表示为相量，将光传输事件表示为相量变换，可以在时域频域简化光传输分析。我们研究了时间照明频率对光传输的影响，并表明对于大范围的场景，对于高于场景相关阈值的频率，全局辐射(多径干扰)消失。我们使用这一观察结果来开发两种新颖的场景恢复技术。首先，我们提出了一种基于ToF的形状恢复技术Micro TToF成像，该技术对全局照明引起的误差具有鲁棒性。其次，我们提出了一种分离辐射直接分量和全局分量的技术。这两种技术都需要捕获多达 3 - 4 张图像和最小的计算。我们通过模拟和使用我们的硬件原型进行的实验证明了所提出技术的有效性。
1. INTRODUCTION
基于相关性的飞行时间(C-ToF)成像系统由时间调制的光源和具有时间调制曝光的传感器组成。传感器测量的亮度是入射到传感器上的时变亮度与曝光函数之间的相关性。这如图1所示。由于这些系统能够以高精度和速度测量场景深度，这些系统正迅速成为在广泛的应用中选择深度传感的方法。几种低成本和紧凑的 C-ToF 系统可用作商品设备，包括 Microsoft Kinect 和 Intel SoftKinectic 传感器。
C-ToF成像中的全局光传输:
传统的C-ToF成像系统假设传感器像素只由于源场景点的直接照明而接收光。然而，由于全局照明，传感器在多个反射/散射事件后沿多条路径接收辐射。恢复场景来自接收辐射的属性(例如场景深度)需要分离来自不同路径的贡献。由于全局照明的复杂性，这是一项困难的任务，并且由于辐射的额外时间维度而变得更加具有挑战性。
辐射的相位表示:
我们的目标是开发一种紧凑的广义C-ToF成像模型，即考虑全全局照明的C-ToF成像模型。为此，我们进行了以下观察。如果场景用给定时间频率的正弦信号照射，则任何点和方向的辐射始终是相同频率的正弦曲线，而不考虑场景。由于所有的正弦曲线具有相同的频率，因此可以分解频率，任何点和方向的辐射都可以用单个复数或相量来表示。通过相量表示，可以单独分析每个时间频率的光传输，从而显着降低复杂度。此外，由于相量辐射对应于特定的调制频率，因此可以通过仅在两次测量的情况下在该频率下工作的 C-ToF 传感器捕获。
相位成像:
基于这些观察，我们提出了相量成像，这是一个分析C-ToF成像光传输的框架，使用辐射和光传输事件的相量表示。特别是，我们分析了时间频率对光传输的影响，并表明对于广泛的场景，全局辐射随着频率的增加而减小，最终在阈值频率之外消失。使用此属性，我们开发了两种场景分析技术：
-传输鲁棒形状恢复，
-直接辐射和全局辐射的快速分离。
传输鲁棒形状恢复:
基于c -ToF的深度恢复系统面临的一个重要问题是全局照明(多路径干扰)引起的误差。这些错误是系统和场景相关的，并且比系统噪声引起的随机误差大几个数量级。这个问题最近受到了了很多关注，已经提出了各种技术来减轻错误 [Godbaz et al. 2008; Dorrington et al. 2011; Kirmani et al. 2013]。这些方法假设全局照明是沿少量（2-3）光路贡献的离散总和。对于一般场景，像素可能会沿着几个潜在的无限光路接收光。因此，这些方法仅限于只有高频光传输的场景（例如，镜面反射相互反射）。
我们提出了Micro TToF成像，这是一种恢复由于全局照明对误差具有鲁棒性的形状的技术，适用于具有广泛光传输效应的场景。它基于使用全局照明消失的高时频，因此不会在接收辐射。尽管使用高频实现了对全局照明的鲁棒性，但由于相位模糊，明确的深度范围很小。Micro ToF 使用两个（或多个）高频和标准相位展开技术来消除高频相位的歧义，从而实现对全局照明的鲁棒性以及大深度范围，只需四个测量值。
直接辐射和全局辐射的快速分离：
我们提出了一种分离直接辐射分量和全局辐射分量的技术。分离这两个组件（使用时间光调制）的一种方法是测量场景的完整瞬态图像 [Heide et al. 2013; Velten et al. 2013]。这些方法虽然理论上是有效的，但需要非常大的采集时间。我们表明，可以通过在单个高时频上仅捕获三个测量值来执行分离。所提出的技术可以被认为是 Nayar 等人提出的技术的时间对应物。 [2006]，它使用高空间频率照明进行分离。
直接辐射和全局辐射的快速分离：
我们提出了一种分离直接辐射分量和全局辐射分量的技术。分离这两个组件（使用时间光调制）的一种方法是测量场景的完整瞬态图像 [Heide et al. 2013; Velten et al. 2013]。这些方法虽然理论上是有效的，但需要非常大的采集时间。我们表明，可以通过在单个高时频上仅捕获三个测量值来执行分离。所提出的技术可以被认为是 Nayar 等人提出的技术的时间对应物。 [2006]，它使用高空间频率照明进行分离。
2. RELATED WORK
脉冲飞行时间成像:
脉冲ToF成像技术通过用非常短(Pico/纳秒)激光脉冲照射场景的时间脉冲响应，并以高时间分辨率记录反射光来测量场景的时间脉冲响应。脉冲ToF成像是第一个ToF距离成像系统之一的基础[Kechner 1968]。虽然早期的系统只假设光从场景的单一直接反射，但最近的技术(称为瞬态成像)使用脉冲ToF原理来测量和分析直接和间接光传输，以捕获拐角周围的图像[Kirkmani等人，2009]，测量三维形状[Velten等人2012]和物体运动[Pandharkar等人2011]在角落周围，执行光传输组件的分离[Wu等人2012]，测量BRDF [Naik等人2011]，使用无透镜传感器捕获图像[Wu等人2012]，并捕获光的传播[Velten等人2013]。
基于相关性的飞行时间成像:
这些技术被引入作为脉冲ToF成像的低成本替代方案。场景用连续的时间调制光(例如，正弦信号)照射，传感器用参考函数测量入射光的时间相关性[Schwarte et al. 1997;Lange和Seitz 2001]。通过测量入射光与发射光之间的相对相移来计算场景深度。虽然已经有研究优化调制波形[Payne et al. 2010;Ferriere et al. 2008;Ai et al. 2011]以实现高精度和处理多个ToF相机之间的干扰[Buttgen et al. 2007]，但大多假设传感器只接收来自场景的直接反射。我们的工作旨在推广基于相关性的ToF成像，以包括各种间接(全局)光传输效应。
飞行时间成像中的多路径干扰:
最近，人们有很多研究来减轻ToF相机中全局照明(多路径)的影响。一般来说，这是一个难题，因为全局照明取决于场景结构，这在捕获时是未知的。已经有一些尝试解决特殊情况的问题，例如分段平面朗伯场景 [Fuchs 2010; Fuchs et al. 2013; Jimenez et al. 2012] 或时间稀疏信号 [Godbaz et al. 2008; 2009; 2012; Dorrington et al. 2011; Jimenez et al. 2012; Kadambi et al. 2013; Kirmani et al. 2013]。这些方法不能推广到各种形式的光传输。此外，它们通常需要捕获大量图像和/或计算密集型基于优化的重建算法。Freedman等人[2014]的方法考虑了可压缩信号(而不是稀疏信号)，可以处理有限数量的漫反射相互反射。然而，由于信号被假定为可压缩的，因此它仅限于全局照明的主要量是由于只有少量光路的场景。本文提出的方法需要取多达四个测量值，只有少数线性运算，适用于具有广泛光传输效应的场景。
基于空间光调制的光传输分析：在过去的几年里，已经提出了几种使用空间调制光进行光传输分析的技术。这包括反转光传输的方法[Steven M.Seitz 2005]，执行全局传输鲁棒形状恢复 [Gupta et al. 2009; Gupta and Nayar 2012; Gupta et al. 2013; Couture et al. 2014] 并分离或选择性地增强光传输组件 [Nayar et al. 2006; Reddy et al. 2012; OToole et al. 2012]。
最近，O'Toole 等人。 [2014] 使用空间和时间光调制的组合来执行各种场景分析任务。虽然他们的技术依赖于高频光调制，但我们的重点是研究光传输作为时间频率的函数的行为。我们开发了仅使用高频光调制的技术，并实现近乎实时的捕获率。
3.背景和成像模型
C-ToF成像系统由一个时间调制的光源和一个传感器组成，其曝光可以在积分时间内进行时间调制。这如图1所示。设源用周期函数m(T)(归一化在 0 到 1 之间。然后，源在θ方向上的辐射强度I(θ，t)为：)调制
传感器曝光根据曝光函数R(T)进行时间调制，这可以通过片上增益调制(例如，光子混频器件[Schwarte等人，1997])或外部光学快门[Carnegie等人，2011]来实现。
设传感器像素p入射的辐射为L(p, t)。在像素p处测量的亮度B(P)由入射辐射与曝光函数之间的相关性给出：
其中 τ 是总积分时间。
C-ToF成像光传输方程:
设Lθ (p, t)为像素p处的辐射入射，这是由于光源沿方向θ发射的光。Lθ (p, t) 给出为：
其中 Γ(p, θ) 是方向 θ 发射的射线到达并到达 p 的路径的长度。常数c是光速。β(p, θ) 是方向 θ 和像素 p 之间的光传输系数；它被定义为到达传感器的发射强度的分数。
总接收辐射度L(p，t)是所有传出方向集合Ω的贡献的积分：
这是 C-ToF 成像的光传输方程。它根据发射的辐射 I(t) 和场景属性（光传输系数和路径长度）表示像素处接收到的时间辐射分布。由于它是依赖于场景的，一般来说，L(p, t) 没有紧凑的分析形式（作为 t 的函数）。L(p, t) 是沿多条路径的光的组合，不能轻易分离和分析以恢复场景属性。此外，捕获整个时间配置文件需要很长的采集时间。
亮度的紧凑表示:L(p, t)是场景的脉冲响应，即，如果场景用时间脉冲照明照射，传感器接收到的时间亮度。然而，如果场景以固定频率正弦变化的照明照射，每个点的辐射和空间中的每个方向(包括传感器)也会以相同的频率正弦变化。这是因为 L(p, t) 是移位和缩放的发射辐射函数 I(t)(Eq. 4) 的积分，正弦曲线在缩放、移位和积分下闭合。由于所有的正弦曲线具有相同的频率，我们可以分解频率，并通过单个复数或相量~L(x，θ)=L(x，θ)ejφ(x，θ)来表示沿任意方向θ的任何点xin空间(包括传感器)的辐射，其中L是幅度，φ是正弦曲线的相位。j=√−1是单位的复杂平方根。我们称~L为相量辐射，简称辐射相量表示。
相位光传输:
场景可以被认为是一个系统，它将源发射的相量辐射(通过调节相位和幅度)转换为传感器像素接收到的相量辐射。变换可以表示为另一个相量发射相量的乘法——发射射线对之间的光传输系数。这如图 2 (a) 所示。正如最近[O'Toole et al. 2014]所示，所有发射射线和接收射线之间的光传输可以表示为矩阵乘法:
其中~L是传感器像素处接收到的相量辐射数组，~I是源沿不同方向发射的相量辐射数组(我们使用粗体大写字母表示数组和矩阵)。这如图 2 (b) 所示。我们称Eq. 5为相量光传输方程，~M为场景2的相量光传输矩阵。相器和传统的光传输矩阵与:
其中M为传统成像的光传输矩阵，ω为调制频率。注意相量光传输矩阵是调制频率ω的函数。对于直流分量(ω = 0)，相量传输矩阵与传统的光传输矩阵相同。
相量光传输方程将给定调制频率的 C-ToF 成像 (Eq. 4) 中的光传输表示为线性矩阵乘法。这简化了C-ToF成像中的光传输分析，特别是光传输如何依赖于调制频率的研究。从实际的角度来看，相量表示自然适用于 C-ToF 成像。这是因为每个像素接收到的相量辐射只有两个未知数(相位和幅度)，这可以通过C-ToF传感器直接捕获，该传感器在单个频率下工作，只有两个测量。这构成了本文介绍的技术的基础，这些技术需要分别取四个和三个测量值进行传输鲁棒形状恢复和直接全局分离。
4. 光传输事件的峰值表示
光传输事件可以根据它们诱导的相量变换分为三个基本组，如图所示在图3中。首先，改变辐射相位的事件(通过空间传播)。其次，仅改变辐射幅度的事件（局部反射和散射）。第三，添加多个相量的叠加事件，得到得到的相量。在下文中，我们分别考虑这些。
通过空间传播：
通过自由空间传播会改变辐射的相位，而幅度是守恒的。设~L(x，θ)是沿方向θ空间中点x处的相量辐射。然后，通过距离 Γ 传播后的辐射度由下式给出：
其中 σ 是介质的消光系数。注意，相位变化量∆φ = ω Γc与调制频率ω和旅行距离Γ成正比。
局部反射和散射:
表面点的局部反射只改变辐射的大小:
其中 b(x; θi, θo) 是入射光方向 θi 和出光方向 θo 点 x 处的 BRDF 项 3。局部散射与反射具有相同的效果，散射项(散射反照率的乘积和散射相位函数)取代了BRDF项
多重射线的叠加:
通过同一点在同一方向上传播的多条光线可以表示为一条射线，其亮度是单个辐射的相量和:
其中 ~Li(x, θ) 是单个辐射，~L(x, θ) 是总辐射。由于相量求和，总辐射的大小可能小于单个幅度的总和，即|~L(x，θ)|≤∑i|~Li(x，θ)|。由此产生的幅度也可以为零，即使所有初始辐射都具有非零幅度。这与传统的成像不同，其中非零辐射的总和严格为正。
5. PHASOR LIGHT TRANSPORT 的频率相关性
考虑相量光传输方程（等式 5）。我们可以将入射传感器辐射分解为直接分量~Ld ω和全局分量~Lg ω之和，其中直接分量是单反射后到达传感器的光，全局分量是多次反射(或散射)事件后到达传感器的光:
Md ω 和 ~Mg ω 分别是调制频率 ω 的光传输矩阵 ~Mω 的直接分量和全局分量。
命题1。消失高频全局光传输:对于大范围的场景，如果频率ω高于阈值ωthresh，全局分量消失:
这是我们工作的关键观察。通常情况下，全局亮度在时间上是平滑的，可以假定为带限。在下文中，我们通过使用光传输事件的相量表示来提供上述观察背后的直觉。第 5.1 节给出了频域证明。
这是我们工作的关键观察。通常情况下，全局亮度在时间上是平滑的，可以假定为带限。在下文中，我们通过使用光传输事件的相量表示来提供上述观察背后的直觉。第 5.1 节给出了频域证明。
其中 ~I 是发射的辐射 4，~M(p, θ) 是路径 P(p, θ) 的光传输系数。由于 P(p, θ) 涉及传播和反射，~Lθ (p) 是通过旋转和衰减发射相量辐射给出的（图 4 (a))，如第 4 节所述。
接下来，考虑 P(p, θ) 局部邻域中的光路集合 P(p, Cθ )，它从 θ 周围的方向 Cθ 的锥体开始，并在 p 处结束。这如图 4 (b) 所示。光传输系数| ~M(p, θ)| = M(p, θ)的大小可以假设在小光路邻域中近似恒定。这一假设构成了使用高频照明来分离光传输组件的方法的基础[Nayar等人。2006]并执行传输稳健的形状恢复[Gu等人。2011年；Chen等人。2008年；Gupta和Nayar2012年；Couture等人。2014年]。假设相位 φ(p, θ) = arg( ~M(p, θ)) 可以线性变化为 θ 的函数。这可以通过考虑一阶泰勒展开相位 φ(p, θ) 来证明。有关证明，请参阅补充材料报告。
因此，个体接收到的辐射~Lg θ (p) = ~M(p, θ)~I具有恒定的振幅和线性变化的相位，并扫出一个圆扇区。由式7可知，扇区的角度∆φ为:
其中 ΔΓ(p, θ) 是路径长度 P(p, Cθ ) 的范围。总全局亮度~LgCθ (p)是所有单个相量的结果相量(Eq. 10)。它的大小由下式给出：
其中Q是单个相量的大小之和。推导在补充材料中给出。|~LCθ (p)|是0≤∆φ≤2π扇区角∆φ的单调递减函数。由于∆φ与调制频率ω(Eq. 14)成正比，随着ω的增加，∆φ增大，结果幅值减小。如果ω = 2πc∆Γ(p,θ)，∆φ = 2π，全局亮度的大小|~LgCθ (p)| = 0 5。
扫一扫
178
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
