系统底部返回遮挡_使用未知遮挡恢复隐藏场景

英文论文信息

A. B. Yedidia, M. Baradad, C. Thrampoulidis, W. T. Freeman, and G. W. Wornell, “Using Unknown Occluders to Recover Hidden Scenes,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 12231-12239.

摘要：考虑一个具有挑战性的问题，即从投射到漫反射表面上的微弱阴影推断隐藏的运动场景。最近的被动非视域成像(NLoS)研究表明，场景和漫反射表面之间的遮挡物的存在显著改善了问题的调节。然而，这项工作假设封堵器的形状是先验的。在本文中，我们放弃了这一通常不切实际的假设，扩展了基于被动遮挡的NLoS成像系统的应用范围。我们将联合恢复未知场景和未知遮挡物的任务描述为一个盲反卷积问题，为此提出了一个简单而有效的两步算法。在第一步，该算法利用场景中的运动来获得遮挡物的估计值。特别是，它利用了现实场景中的运动通常是稀疏的这一事实。第二步更为规范：利用正则化，通过遮挡估计反卷积来解决隐藏场景。我们在各种环境下通过仿真和实验证明了该方法的有效性。

研究背景

对不直接可见的场景进行成像，也称为非视域(NLoS)成像，是一个困难且常常不适定的问题。近年来，它已成为一个活跃的研究领域，在搜索救援、反恐、交通等领域有着广泛的应用。以往依靠人类可见光对隐藏场景进行成像的方法可以分为两类。主动方法将光引入场景，并利用引入光的已知或测量属性（如返回时间）来成像隐藏场景。另一方面，被动方法完全依赖场景中的环境光，例如观察平面上的二次反射，来推断隐藏场景的内容。这两种方法通常都假定存在对观察者和隐藏场景都直接可见的东西。被动方法的缺点是，在现实世界中，只能观察到二维表面，但产生这些观察结果的场景是三维的。因此，问题本身就是不适定的。以往的方法都是通过假设场景位于低维流形上，从而仅重建场景的低维投影，或者在重建时利用强空间先验来克服真实场景。

尽管到目前为止，已经有大量的工作表明可以利用遮挡的存在来推断隐藏场景的结构，但据我们所知，这项工作是第一次以盲目的方式进行推断，这意味着对遮挡的结构一无所知。过去利用遮挡的工作要么使用场景校准在系统可以工作之前获得遮挡的精确图像，要么局限于遮挡器具有一些基本的、常见的形状的情况，如针孔、针尖或边缘。这个问题的盲目性加剧了非视域成像已经令人望而生畏的挑战。

研究现状

过去主动非视域成像的研究已经证明了使用飞行时间(ToF)相机解析隐藏场景中的结构的可能性[1,2]，包括计算人数[3]，推断物体的大小和运动[4]，以及二维空间中的目标跟踪。特别是Pandharkar等人[4]使用ToF相机在部分未校准的环境中解析移动场景，Velten等人用它们从角落里恢复三维结构。Thrampoulidis等人[5]表明基于遮挡的成像也可以应用于主动非视域成像。

近年来，基于遮挡的成像方法引起了极大的兴趣。Torralba和Freeman[6]是最早注意到环境中的物体可能会形成“意外”相机的人之一，这使得解析隐藏结构变得更简单。特别是，他们使用了这样一个事实：许多普通物体的行为近似于针孔或针尖。此外，2019年，Saunders等人使用针尖遮挡来解析2D场景。基于遮挡的方法也被用于观察拐角周围[7]和推断光场[8]。编码孔径摄影[9]也可以看作是一种基于遮挡的成像。

过去盲反卷积领域的工作主要集中在图像去模糊[10]，尽管也有一些工作应用于通信和控制系统。最近，在图像去模糊盲反卷积的研究中，Fergus等重新引起了人们的兴趣。过去的盲反卷积方法通常使用局部搜索方法，包括总变差最小化[11]和交替投影。过去也有多帧盲反卷积的工作，用于消除天文图像的模糊[12]。

参考文献：

[1] A. Kirmani, T. Hutchison, J. Davis, and R. Raskar, “Looking around the Corner Using Transient Imaging,” in Proceedings of the IEEE International Conference on Computer Vision, 2009, pp. 159-166.

[2] F. Heide, L. Xiao, W. Heidrich, and M. B. Hullin, “Diffuse Mirrors: 3D Reconstruction from Diffuse Indirect Illumination Using Inexpensive Time-of-Flight Sensors,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 3222-3229.

[3] L. Xia, C. C. Chen, and J. K. Aggarwal, “Human Detection Using Depth Information by Kinect,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2011, pp. 15-22.

[4] R. Pandharkar, A. Velten, A. Bardagjy, E. Lawson, M. Bawendi, and R. Raskar, “Estimating Motion and Size of Moving Non-Line-of-Sight Objects in Cluttered Environments,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2011, pp. 265-272.

[5] C. Thrampoulidis, G. Shulkind, F. Xu, W. T. Freeman, J. Shapiro, A. Torralba, F. Wong, and G. Wornell, “Exploiting Occlusion in Non-Line-of-Sight Active Imaging,” IEEE Transactions on Computat