MorpheuS:基于单目 RGB-D 视频的神经动力学360°表面重建

MorpheuS: Neural Dynamic 360° Surface Reconstruction from Monocular RGB-D Video

vmap: Vectorised object mapping for neural field slam.Co- slam。Nice-slam

我们提出了 MorpheuS，这是一种动态场景重建方法，利用神经隐式表示和扩散先验从单目 RGB-D 视频中实现对运动物体的 360° 重建。我们的方法既可以实现对观察到的区域的度量精确重建，也可以实现动态场景中未观察到的区域的照片级逼真完成。

ABSTRACT

神经渲染在动态场景重建方面取得了显著的成功。得益于神经表征的表现力，先前的研究可以准确捕捉运动并实现目标物体的高保真重建。尽管如此，现实世界的视频场景通常具有大量未观察到的区域，神经表征很难实现逼真的完成。
为了应对这一挑战，我们引入了 MorpheuS，这是一个从随意捕获的 RGB-D 视频中进行动态 360° 表面重建的框架。
我们的方法将目标场景建模为一个规范场，该场对其几何形状和外观进行编码，并结合一个变形场，将点从当前帧扭曲到规范空间。我们利用视图相关的扩散先验并从中提取知识，以实现未观察区域的真实完成。在各种现实世界和合成数据集上的实验结果表明，我们的方法可以从单目 RGB-D 视频中实现可变形物体的高保真 360° 表面重建。