三维重建大一统！LSM：无需先验位姿，首次实现实时语义3D重建！

0. 论文信息

标题：Large Spatial Model: End-to-end Unposed Images to Semantic 3D

作者：Zhiwen Fan, Jian Zhang, Wenyan Cong, Peihao Wang, Renjie Li, Kairun Wen, Shijie Zhou, Achuta Kadambi, Zhangyang Wang, Danfei Xu, Boris Ivanovic, Marco Pavone, Yue Wang

机构：UT Austin、NVIDIA Research、XMU、TAMU、UCLA、GaTech、Stanford University、USC

原文链接：https://arxiv.org/abs/2410.18956

代码链接：https://largespatialmodel.github.io/（Coming in November）

官方主页：https://largespatialmodel.github.io/

1. 导读

从有限数量的图像中重建和理解3D结构是计算机视觉中一个公认的问题。传统的方法通常将这个任务分成多个子任务，每个子任务都需要在不同的数据表示之间进行复杂的转换。例如，通过运动重建结构(SfM)的密集重建包括将图像转换成关键点、优化相机参数和估计结构。之后，需要精确的稀疏重建来进行进一步的密集建模，随后将其输入特定任务的神经网络。这种多步骤工艺导致相当长的处理时间和增加的工程复杂性。在这项工作中，我们提出了大空间模型(LSM)，该模型将未定位的RGB图像直接处理成语义辐射场。LSM在单个前馈操作中同时估计几何形状、外观和语义，并且它可以通过以新颖的观点与语言进行交互来生成通用的标签地图。利用基于变压器的架构，LSM通过像素对齐的点地图整合全球几何。为了增强空间属性回归，我们将局部上下文聚合与多尺度融合相结合，提高了精细局部细节的准确性。为了解决标记的3D语义数据的缺乏并实现自然语言驱动的场景操纵，我们将预训练的基于2D语言的分割模型合并到3D一致的语义特征场中。然后，一个高效的解码器将一组语义各向异性高斯函数参数化，