合成孔径成像算法与实现_基于快速f-k偏移的波基非视域成像

英文论文信息

D. B. Lindell, G. Wetzstein, and M. O’Toole ,“Wave-Based Non-Line-of-Sight Imaging using Fast f−k Migration,” ACM Transactions on Graphics, vol. 38, no. 4, pp. 1-13, 2019.

摘要：摄像机的直接视线之外的物体成像在机器人视觉、遥感和许多其他领域都有重要的应用。基于飞行时间的非视域（NLOS）成像系统最近取得了令人印象深刻的成果，但仍存在一些挑战。图像形成和反演模型一直是缓慢的，或受到可成像的隐藏表面类型的限制。此外，非平面采样表面和非共焦扫描方法还没有得到有效的NLOS算法的支持。在此基础上，我们提出了一种基于波的非视域成像模型。受地震学反演方法的启发，我们采用频域法f-k偏移来求解NLOS反演问题。与现有的NLOS算法不同，f-k偏移既快速又节省内存，它对镜面反射和其他复杂的反射特性具有鲁棒性，我们展示了如何将其用于非共焦扫描测量以及非平面采样表面。与其他方法相比，f-k偏移对测量噪声的鲁棒性更强，通常产生更好质量的重建，并且易于实现。我们通过一个新的非视域成像系统实验验证了我们的算法，该系统记录了在间接阳光下室外房间大小的场景，并以交互速率扫描穿着反光服的人。

一、研究背景

基于飞行时间原理的传统三维成像系统测量光脉冲从光源到可见物体，再回到传感器的直接路径所需的时间。另一方面，非视线（NLOS）成像使用多反射光路径间接测量隐藏对象的三维形状和视觉外观将可见表面转化为漫反射镜。非视域问题对许多领域（如医学成像、机器人视觉、遥感等）都具有重要意义，因为“看到”隐藏在直接视线之外的物体的能力具有深远的影响。例如，非视域成像技术可以为自主车辆提供一种查看隐藏障碍物并安全绕过障碍物的方法。非视域成像的新兴领域已经取得了很大的进展，然而，要使这种能力切实可行，还面临着重大挑战。首先，NLOS光传输模型通常是非常严格的，假设可见表面是一个平面，或者隐藏的物体是Lambertian（漫反射）或后向反射的。其次，与NLOS成像相关的大量逆问题在传统意义上存在计算速度慢、内存密集的问题，严重限制了可以处理的隐藏卷的大小。第三，NLOS成像往往是一个高度缺光的过程。由于这个原因，实验捕捉到的隐藏场景的尺寸很小，并且利用了后向反射特性来保持捕捉时间的合理性。

二、研究现状

非视域成像，也称为“拐角成像”，是自提出就以来备受关注的课题。这个想法涉及到用超快激光和探测器探测可见光墙，后来在实践中用飞秒激光和条纹相机证明了这一点[1]。所谓的瞬态测量[2]用于非视域成像，是捕捉光从墙上的一个点传播到隐藏场景中的点，再返回到墙上的另一个点的贡献和传播时间。尽管对隐藏在视线之外的物体进行成像的能力是一项令人印象深刻的壮举，但这项初步工作也提出了许多关于如何改进采集和重建过程的重要问题。由于飞秒激光和条纹相机的花费，一些研究人员后来选择使用其他传感技术，包括用于飞行时间相机的光子混频器（PMD）或者是普通的摄像机传感器。然而，许多人已经接受使用单光子雪崩二极管（SPAD）进行非视域成像[3,4],它是一种传感器，能够以数十皮秒量级的时间精度检测单个光子的到达时间。这些传感器具有相对通用性，能够在长距离、环境光照或高速率下进行非视域成像。非视域重建问题的计算求解是一个重大的挑战。FBP涉及对瞬态信号进行延迟和和运算，然后是拉普拉斯滤波器[1]。虽然FBP的结果是有希望的，但该方法有几个局限性：（1）由于依赖于启发式滤波器，算法仅给出形状和反射率的近似值，（2）对光传输做出了几个限制性假设（例如，假设物体漫射地反射光，忽略遮挡和隐藏体积内的多次反弹光传输）和（3）非常慢。因此，人们提出了多种解决方案，包括将非视域成像简化为更简单的跟踪问题的解决方案[5]，使用参数化平面模型来表示隐藏场景[6]，仅从第一个返回光子估计形状[7]，以更高的计算复杂度为代价，为光传输提供更精确的模型[8]，或通过分析镜面路径的几何体或通过解决反向渲染问题来重建隐藏对象的表面表示[9,10]。

地震成像涉及探测地表以下的地质界面，并应用于油气勘探。爆炸或地震振动器产生的地震波在地球上传播，地震检波器测量地球表面不同点的响应。地震偏移是由波动方程控制的计算复杂地下地质的过程，它产生了在地表探测到的波，在数学上类似于光学非视域成像中的光传输。Stolt引入了频率波数偏移（通常称为f-k偏移）来解决地震成像问题。该算法仍然是自其发明以来已知最快的偏移方法，并为相应的基于波的模型提供了精确的解析解。它假设地震波以恒定速度传播，不幸的是，在地震学中通常不是这样（尽管存在处理可变波速的f-k偏移扩展）。由于地震波与声波甚至无线电波具有相同的性质，f-k偏移在合成孔径声纳（SAS），超声成像，以及合成孔径雷达地震波的传播也与可见光或近可见光波长的光传输有许多相似之处，在可见光或近可见光波长中，光波通常在自由空间中以恒定速度传播，也受波动方程的控制。光锥变换（LCT）方法在声学非视域成像中的应用证明了这种联系[11]以及类似于LCT的声学处理技术的存在。虽然机械波和光波之间确实存在相似之处，但在需要仔细处理的测量中也存在明显的差异，我们通过采用f-k偏移来解决光学NLOS问题。注意，较长的电磁波也可以穿过墙壁，而不是从墙壁上散射出去。因此，大量的研究人员利用这一特性，利用wifi信号进行穿墙NLOS成像[12]或太赫兹辐射[13]，利用f-k偏移的共焦非视域成像波动方程描述了电磁辐射（即光）的传播。

参考文献：

[1] A. Velten, T. Willwacher, O. Gupta, A. Veeraraghavan, M. G. Bawendi, and R. Raskar, “Recovering Three Dimensional Shape around a Corner Using Ultrafast Time-of-Flight Imaging,” Nature Communications, vol.3, no.1, pp.1-8, 2012.

[2] M. O’Toole, F. Heide, D. B. Lindell, K. Zang, S. Diamond, and G. Wetzstein,“ Reconstructing transient images from single-photon sensors,” in Proc. IEEE Conf. on Computer Vision and Pattern Recognition, 2017, pp. 2289-2297.

[3] M. Buttafava, J. Zeman, A. Tosi, K. Eliceiri, and A. Velten, “Non-line-o