剑桥&ETH研究综述：NeRF在机器人技术中的应用

精准的三维环境表示一直是计算机视觉和机器人领域的一个长期目标。最近出现的神经隐式表示为该领域带来了革命性的创新，因为隐式表示能够实现多种功能。其中，神经辐射场（NeRF）由于其巨大的表征优势，如简化的数学模型、紧凑的环境存储和连续的场景表示，引发了一种趋势。除了计算机视觉，NeRF在机器人领域也显示出巨大的潜力。因此，本综述是为了全面了解机器人领域的NeRF。通过探索NeRF的优势和局限性，以及它目前的应用和未来的潜力，我们希望能阐明这一有前景的研究领域。从NeRF如何进入机器人领域的角度来看，我们的调查分为两个主要部分：NeRF在机器人学中的应用和NeRF在机械学中的进展。在第一节中，我们从感知和交互的角度介绍和分析了一些已经或可能用于机器人领域的工作。在第二节中，我们展示了一些与改进NeRF自身特性有关的工作，这些工作对于在机器人领域部署NeRF至关重要。在综述的讨论部分，我们总结了现有的挑战，并提供了一些有价值的未来研究方向供参考。

NERF在机器人技术中的应用NeRF的优势，如能够实现简化的数学模型、紧凑的环境存储和连续的场景表示，使其成为机器人应用的一个有吸引力的工具。这些特性在机器人技术中实现场景理解以及通过与环境的交互完成特定任务方面发挥着至关重要的作用。

A.场景理解1）重建：我们将相关工作分为静态重建和动态重建，并使用时间线进行呈现，如图3所示。（a）静态重建：机器人中的场景重建是指通过分析感知的传感器数据来对周围环境的3D表示进行建模的过程。室内和室外场景属性的差异给重建任务带来了明显的挑战。因此，我们将讨论分为室内场景重建和室外场景重建，如图4所示。
室内场景范围有限，纹理丰富，结构清晰。iMAP[20]在同时定位和映射（SLAM）任务的背景下，尝试将MLP结构和体积密度表示相结合，如NeRF[1]。通过基于损失引导采样的精心设计的策略和重放缓冲区的构建，iMAP仅从2D图像中获得了令人满意的SLAM结果。然而，MLP结构的有限能力导致了灾难性的遗忘和耗时的推理问题，限制了重建的规模和效率。体积密度是一种概率表示，具有外观几何模糊性[18]，导致低精度重建结果。室内场景范围有限，纹理丰富，结构清晰。iMAP在SLAM任务的背景下，尝试将MLP结构和体积密度表示相结合，如NeRF。通过基于损失引导采样的精心设计的策略和重放缓冲区的构建，iMAP仅从2D图像中获得了令人满意的SLAM结果。然而，MLP结构的有限能力导致了灾难性的遗忘和耗时的推理问题，限制了重建的规模和效率。体积密度是一种概率表示，具有外观几何模糊性，导致低精度重建结果。（b）动态重建：长期运行的机器人通常在复杂环境中面临动态变化。对于基于静态场景假设的朴素的NeRF模型来说，动力学无疑会破坏学习过程，导致伪影。此外，在动态场景中，每个时刻只包含一个观察，这使得呈现严重缺乏来自不同视图的空间一致性约束。因此，如何在动态环境中学习基于NeRF的模型至关重要。相关工作如图5所示。