【论文解读】ActiveSplat: High-Fidelity Scene Reconstructionthrough Active Gaussian Splatting

        该智能体自主探索环境，实时构建3D地图。高斯地图与Voronoi图的结合确保了高效且完整的探索，同时提供高保真的重建结果 。

摘要

        ActiveSplat，一种利用高斯溅射技术的自主高保真重建系统。该系统通过高效且逼真的渲染，建立了一个统一的框架，用于在线地图构建、视点选择和路径规划。

        ActiveSplat的关键在于其混合地图表示，结合了关于环境的密集信息和工作空间的稀疏抽象。因此，该系统利用稀疏拓扑结构进行高效的视点采样和路径规划，同时利用依赖视点的密集预测来选择视点，从而促进高效的决策制定，保证良好的准确性和完整性。我们采用基于拓扑地图的分层规划策略，以减少重复轨迹并在有限预算下改善局部粒度，从而确保高保真重建和逼真的视图合成。大量实验和消融研究验证了该方法在重建精度、数据覆盖度和探索效率方面的有效性。

引言

        细粒度三维环境重建长期以来一直是机器人学、计算机视觉和计算机图形学的核心研究方向。在机器人学领域，对于高保真物理世界数字化的需求日益增长，这不仅有助于远程操作等沉浸式应用[1]，还能够缩小模拟与现实之间的差距，通过照片级真实感的仿真促进具有广泛适应性的机器人自主性[2]。

        近年来，差分渲染的进展显著提高了重建环境的质量。神经辐射场（NeRF）[3]及其变体[4]、[5]、[6]利用神经网络作为紧凑的场景表示，使用体积渲染合成高质量的新视角。然而，沿光线进行体积积分所带来的计算效率低下，在内存和处理方面带来了挑战。为了解决这些限制，引入了高斯溅射技术[7]、[8]、[9]、[10]、[11]，通过高效的光栅化和α混合实现了有前景的渲染质量。尽管有这些进展，场景特定的表示和数据依赖的优化使得这些方法对捕获的观察结果非常敏感，噪声和伪影容易在视角覆盖不足的情况下出现，尤其是在数据收集过程中没有直接反馈时[12]、[13]。

在本工作中，我们旨在通过主动地图构建解决这些问题，其中一个移动智能体实时重建环境，评估地图的即时质量，并规划路径以覆盖整个环境。我们发现高斯溅射技术特别适用于高保真主动地图构建，因为它具有视点依赖的密集预测能力。这一特性使得系统能够高效且准确地提取工作空间和障碍物，同时通过将感兴趣的高斯分布映射到主动采样的视图上，统一量化数据覆盖情况。我们提出的系统，称为ActiveSplat，通过基于梯度的优化逐步更新可渲染的高斯地图，渐进地提升和完善场景表示，确保高保真重建。

        为了平衡重建精度和探索效率，我们的系统采用了一种混合地图表示，灵感来源于[14]。系统维护一组3D高斯分布作为密集地图，以提供视点依赖的密集预测，同时提取Voronoi图作为拓扑地图，表示工作空间的抽象。通过该图，我们推导出稀疏但具有代表性的视点位置，引导智能体扩展工作空间的边界。同时，每个位置的视角由视点依赖的完整性度量确定。这种方法将自由空间中无限多的可能视点缩减为一个可管理的视点和旋转角度集合，确保高效且安全的遍历。此外，我们采用基于拓扑地图的分层规划策略，以减少全局探索中的冗余轨迹，提高自主过程的整体效率。本文的主要贡献可归纳如下：

• 提出了一个创新系统，通过主动溅射感兴趣的高斯分布，构建一个统一的自主高保真重建系统。
• 提出了一个混合地图表示，结合高斯的密集预测和Voronoi图的稀疏抽象，实现全面的视点选择和安全路径规划。
• 基于Voronoi图的分层规划策略优先考虑局部区域，最小化冗余探索，并解耦视点选择，以平衡探索效率和重建精度。

 方法

图2：ActiveSplat概述：该自主重建系统采用混合地图，结合了密集预测和稀疏拓扑抽象，在探索效率和重建精度之间实现平衡。实时溅射感兴趣的高斯分布为在线地图更新、视点选择和路径规划提供了一致的方式。注：子区域通过节点颜色区分，节点得分通过颜色强度表示。

A 混合地图更新 

由此可见，两个格式的结合实现了环境的自适应粒度，并确保在自主重建过程中高效性与准确性之间的良好平衡。

B. 主动视点选择

        主动地图构建的目标是遍历工作空间并尽可能地捕捉先前未见区域的信息。通常，这通过迭代选择目标视点来实现，其中可访问的视点候选的采样策略和选择标准对于效率和整体覆盖率至关重要。Voronoi图的一个优点是它可以被视为全局自由空间的强变形收缩[37]。此外，Voronoi图生成的路径尽可能远离障碍物，从而优化了探索路径的安全性和有效性。

        从而确保了安全的遍历。因此，我们希望在Voronoi图上采样视点，以保持一个紧凑且可访问的视点集，覆盖整个场景。

        **a) 解耦位置和旋转候选视点：** 为了最佳利用Voronoi图的紧凑结构以及高斯地图中继承的丰富信息，我们提出了解耦位置和旋转候选视点的策略，以保持稀疏性同时确保全面的观测。动态更新的工作空间生成了一个增量扩展的图，它完整地描述了部分观察到的工作空间。我们迭代选择Voronoi节点作为视点位置候选，其中包含最多信息增益的节点推动工作空间的边界进行遍历。对于视点旋转，我们在选定的视点位置采用偏航和俯仰旋转，以获得朝向特定区域的观测。目标节点位置和目标旋转角度以视点依赖的方式确定，如下所示。

        **b) 覆盖评估：** 在自主探索过程中，平移和旋转的动作具有不同的粒度。我们的目标是高效地遍历整个Voronoi节点集，以保持完整覆盖，同时在路径交叉复杂的区域进行仔细检查。实际操作中，我们渲染关于所有节点的全景图像，如图2所示，并通过DBSCAN算法[38]聚类低可见度区域，以生成旋转角度候选。需要注意的是，视点依赖的累计不透明度并不能精确反映整个空间的重建精度。首先，图像域中低可见度区域的比例不能反映三维空间中实际未见的区域，因为接近未见区域的节点会导致大量不可见像素。此外，累计不透明度导致了对完整性的过度自信评估，因为来自后方几何体的溅射也可能导致高的累计不透明度。如图2所示，我们将低可见度区域的轮廓像素投影到3D空间中，应用凸包[39]来近似未见几何体的体积。我们进一步根据公式（8）维护一组高损失样本。每一帧中在密集化之前的高损失区域将通过时间传播进行聚类，以跟踪新观察到的区域。

        **c) 目标视点的确定：** 视点选择分为两个阶段进行。智能体首先选择具有最多不可见区域的节点，同时考虑全景可见度度量和凸包体积。这一策略迫使智能体通过快速遍历信息增益最大的节点，尽可能扩展工作空间。一旦智能体到达目标位置，全景图像和已维护的高损失样本将引导智能体进行旋转，如图2所示，届时不可见和高损失区域将得到相应的观测。所提出的方法使得智能体沿Voronoi图行进，将潜在视点压缩为一个有限的稀疏集，同时确保完整性和安全性。

C. 基于Voronoi图的分层规划

        为了提高智能体探索的整体效率并避免重访过去的区域，我们提出了一种基于Voronoi图的分层规划策略，该策略包括子区域划分和局部-全局目标选择（如图4所示）。

        **a) 子区域划分：** 基于Voronoi图的拓扑结构，我们旨在动态地在探索过程中将图划分为子区域，以确保在全局指导下具有精细的局部粒度。实际上，我们采用了聚合层次聚类方法（UPGMA）[40], [41]来进行子区域划分，其中成对距离同时考虑了欧几里得距离和测地距离度量。该层次结构使得可以灵活地选择不同层次的划分，并且能够适应空间数据。由于聚合聚类考虑了节点之间的平均距离，它能够生成具有良好效率的平衡聚类，特别是在稀疏图结构下。

        **b) 局部-全局目标选择：** 下一最佳子区域的选择遵循与第III-B(c)节类似的标准，指导智能体快速探索周围环境。在探索过程中，优先考虑智能体周围的局部区域进行详细检查，而在局部区域完全探索后，将选择信息增益最大的下一最佳子区域。局部规划通过量化局部子区域内的上述不完整评分来进行。得分超过阈值的节点将被迭代选择。一旦局部视野内的任何节点的得分低于阈值，智能体将执行全局规划，寻找位于局部子区域外的得分最高的节点。全局得分不仅考虑覆盖度，还考虑了探索过程中访问的距离成本和先前的访问概率。然后，主动地图构建过程将局部精细绘制与全局粗略探索交替进行，以平衡重建精度和效率。

D. 实现细节

        在确定目标位置和目标旋转后，智能体将主动探索未知环境并捕获新信息。以下是有关引导、全景渲染、路径规划和后处理的详细讨论。

        **a) 引导：** 由于视野有限，我们要求智能体在开始时进行环视。智能体执行离散动作进行360度的偏航旋转，以获得完整的环境视图。在仿真中，智能体还会进行45度的下倾俯视旋转，以确保在出发前地面表面被完整覆盖。

        **b) 全景渲染：** 由于高斯溅射技术能够高效渲染针孔图像，我们使用三台虚拟相机，分别具有120度的垂直和水平视场角（FOV），以获取全景图像。每张全景图像的大小设为360×120，便于选择旋转角度。

        **c) 路径规划：** 一旦目标位置确定，就可以通过Dijkstra算法找到最短路径。节点评分是多个因素的加权和，其中每个因素的最大评分为1。关于2D不可见子区域和凸包的评分会根据最大面积/体积进行归一化，其余评分为二值。具有相同评分的节点将根据它们与智能体的距离进行排序，离得更近的节点优先选择。我们为树状图修剪设置了固定的距离阈值90，以控制子区域划分的粒度。同时，当智能体到达图中的多连接节点时，我们强制进行旋转，因为这些节点通常是区域之间的交点，需要仔细决策。实验表明，这一策略能有效提高全面探索的效率。

        **d) 后处理：** 与NeRF基础的SLAM算法为满足实时需求而牺牲模型容量以快速收敛不同，基于高斯的方法保持了一致的参数空间，允许进行后处理。我们进一步应用自适应密度控制和额外的优化[7], [8]，根据存储的关键帧数据优化在线构建的地图（如图7所示）。

 

 实验

A. 实验设置

        实验在一台配备Intel Core i9-12900K CPU和NVIDIA RTX 3090 GPU的台式机上进行。根据[18]的协议，我们使用Habitat仿真器[42]，并结合Gibson[43]和Matterport3D[44]数据集进行定性和定量评估。智能体以256×256的分辨率收集RGB-D数据，并执行离散动作：向前移动6.5厘米，左转和右转10°，向上和向下转15°，以及停止。智能体的高度设置为1.25米，垂直和水平方向的视场角均为90°。

B. 与其他方法的比较

        我们首先在13个不同的场景中评估了探索覆盖率，遵循[18]中的设置，计算完成率（%）和完成度（cm）进行定量评估。如表I所示，提出的系统在限定步骤数（小场景为1000，大场景为2000）内优于所有相关方法。尽管[14]采用了类似的拓扑引导探索策略，但其层次规划策略在局部重建精度和全局场景覆盖之间实现了平衡。

        我们还进行了关于新视图合成的定性评估。如图5所示，提出的ActiveSplat充分利用了高斯点积技术，在新视图合成任务上相较于基于NeRF的系统[14]取得了显著改进。

C. 消融研究

        为了验证我们解决方案背后的合理性，我们在不同模块上进行了消融研究，以证明每个策略在高保真重建中的有效性。

a) 探索策略：

        我们首先分析了不同策略对全面探索的影响。如表II所示，随机基线表明Voronoi图能够保证完整的探索。然而，所有节点的遍历没有适当的顺序是低效的，并且会忽视某些区域。即使是贪婪的“位置”策略，它也只专注于推动工作空间的边界进行全面遍历，仍存在类似问题。引入旋转后，完整度有所提高。最后，对于多连接节点的仔细处理和层次规划策略，通过局部和全局不同的检查粒度，进一步带来了优势。

        如表III和图6所示，尽管贪婪策略在开始时会迅速提高完整度，但粗略地探索邻近区域会导致重复的轨迹。与贪婪基线相比，提出的层次规划策略确保了在遍历后路径长度更小且完整度更高。

b) 覆盖度评估：

        如在Sec. III-B(b)中所提到的，透过全景图中可见度的量化，指导智能体推动工作空间的边界。为了验证不可见掩码区域与凸包体积的整合效果，我们在以下设置下评估了结果。“仅可见度”策略指导智能体前往具有最大不可见区域的节点，“仅凸包”策略则倾向于访问具有最大3D凸包的未访问区域。如表IV所示，仅使用视图依赖的2D结果或3D体积量化并不能最佳捕获相应节点的信息增益。例如，“仅可见度”策略不能反映实际未访问区域的大小，而“仅凸包”策略则无法量化从节点位置看得到的实际信息增益。我们提出的整合两者策略（我们的方法）作为一种归一化评分方法，充分考虑了靠近Voronoi节点的不可见区域的相对范围，达到了在主动映射过程中令人满意的完整度。

c) 后处理：

        高斯的统一表示允许方便的后处理。我们在此对比了后处理前后的结果，验证了后处理对系统性能的提升效果，使用3DGS [7] 和 2DGS [8] 进行进一步评估。对于每个场景，选择50帧均匀采集作为训练集，并随机选择50张图像，这些图像对应于在自由空间内随机采样的相机姿态，作为测试集。如表V所示，进一步的优化精细化可以显著提高重建质量，尤其在几何和外观方面，特别是当优化过程中同时利用RGB和深度观察时。在线反馈能够支持主动数据采集，从而实现完整且高保真的重建。

        需要注意的是，2DGS [8] 的二维展平高斯参数表示方式以及几何正则化项在测试集中的表现较好，而3DGS [7] 在训练集上表现较好，可能出现过拟合。此外，深度图像不仅可以在训练和测试集上改善几何（降低深度L1），还增强了地图的泛化能力（测试集质量更高）。没有深度损失的优化可能导致更真实的视图合成结果（严重的过拟合），但在无纹理区域，由于存在模糊性，几何效果可能会恶化。

结论

        本文提出了ActiveSplat，一个用于高保真室内场景重建的主动映射系统。通过准确的密集预测和可微分渲染，以及通过Voronoi图提取进行的工作空间抽象，该系统在探索效率和完整性之间实现了有前景的折衷。详细的实验结果验证了所提出系统的有效性。该系统在未知的室内环境中进行高保真重建的能力，为机器人自主性和主动感知领域的进一步研究打开了大门，这些研究可以扩展到更复杂的任务，如终身导航和移动操控。