Block-NeRF论文阅读

Block-NeRF 城市重建 论文阅读

论文地址

理解视频

论文翻译

摘要

我们提出了一个神经辐射场的变体Block-NeRF，可以表示大规模的环境。具体来说，我们演示了当缩放NeRF来渲染跨越多个块的城市规模的场景时，将场景分解为单独训练的NeRF是至关重要的。这种分解将渲染时间与场景大小分离开来，使渲染能够扩展到任意大的环境，并允许每个块的环境更新。我们采用了一些架构上的更改，以使NeRF在不同的环境条件下对数月捕获的数据具有健壮性。我们添加外观嵌入，学习姿态变化和可控暴露到每个单独的NeRF，并引入一种相邻NeRF之间的外观对齐手段，以便他们可以无缝结合。我们从280万张图片中构建了一个Block-NeRFs网格，以创建迄今为止最大的神经场景表示，能够渲染旧金山的整个社区。

1 引言

神经渲染方面的最新进展，如神经辐射场[42]，已经实现了逼真的重建和给定一组相机位姿图像的新视图合成[3,40,45]。早期的工作倾向于关注小规模和以对象为中心的重建。虽然一些方法现在处理场景的一个房间或建筑的大小，这些通常仍然是有限的，不能很好地扩展到城市规模的环境。由于模型容量有限，在大型环境中应用这些方法通常会导致明显的伪影和较低的视觉保真度。

重建大规模环境使自动驾驶[32，44，68]和航空测量[14，35]等领域的几个重要用例成为可能。一个例子是地图，其中创建了整个操作域的高保真地图，作为解决各种问题的强大先验，包括机器人定位、导航和碰撞避免。此外，大规模的场景重建可用于机器人闭环仿真[13]。自动驾驶系统通常通过重新模拟之前遇到的场景进行评估；然而，任何偏离记录的遭遇可能会改变车辆的轨迹，需要高保真的新颖视图渲染沿着改变的路径。除了基本的视图合成，场景限制的 NeRFs还能够更改环境光照条件，如相机曝光、天气或一天中的时间，这可以用于进一步增强模拟场景。

重建这样大规模的环境带来了额外的挑战，包括瞬时对象(汽车和行人)的存在，模型容量的限制，以及内存和计算的限制。此外，在一致的条件下，这样大的环境的训练数据极不可能在一次捕获中收集到。相反，环境的不同部分的数据可能需要从不同的数据收集工作中获得，从而在场景几何(例如，建筑工作和停放的汽车)以及外观(例如，天气条件和一天的时间)中引入差异

我们通过外观嵌入扩展NeRF，并学习姿态变化，以解决环境变化和收集的数据中的错误。我们还添加了曝光条件反射，以提供在推断期间修改曝光的能力。我们将这种修改后的模型称为Block-NeRF。通过扩大Block-NeRF的网络容量，可以表示越来越大的场景。然而，这种方法也有一些限制：渲染时间随网络的大小而变化，网络不再适合单个计算设备，更新或扩展环境需要重新训练整个网络。

为了解决这些挑战，我们建议将大型环境划分为单独训练的Block-NeRFs，然后在推断时动态地呈现和组合它们。独立地建模这些Block-NeRFs可以获得最大的灵活性，扩展到任意大的环境，并提供分段更新或引入新区域的能力，而无需重新训练整个环境，如图1所示。为了计算一个目标视图，只渲染Block-NeRF的一个子集，然后根据它们与相机的空间几何位置进行合成。为了实现更无缝的合成，我们提出了一种外观匹配技术，通过优化外观嵌入，将不同的Block-NeRFs进行视觉对齐。

图1 Block-NeRF是一种通过使用多个紧凑的NeRFs(每个都可以放入内存中)来表示环境，从而实现大规模场景重建的方法。在推断时，Block-NeRF无缝结合给定区域的相关NeRFs的渲染。在本例中，我们使用3个多月收集的数据重建了旧金山的Alamo广场社区。Block-NeRF可以更新环境的单个块，而无需对整个场景进行重新训练，正如右边的构造所示。视频结果可以在项目网站上找到。

2 相关工作

2.1 大规模三维重建