机器人神经场的全面盘点：导航/自动驾驶/姿态估计应用一览无余

神经场已经成为计算机视觉和机器人技术中3D场景表示的一种变革性方法，能够从姿势的2D数据中准确推断几何、3D语义和动力学。利用可微分渲染，神经场包括连续隐式和显式神经表示，实现了高保真3D重建、多模态传感器数据的集成和新视点的生成。这项调查探讨了它们在机器人技术中的应用，强调了它们在增强感知、规划和控制方面的潜力。它们的紧凑性、内存效率和可微性，以及与基础模型和生成模型的无缝集成，使其成为实时应用的理想选择，提高了机器人的适应性和决策能力。本文基于200多篇论文，对机器人中的神经场进行了全面的回顾，对各个领域的应用进行了分类，并评估了它们的优势和局限性。首先，我们介绍了四个关键的神经场框架：占用网络、有符号距离场、神经辐射场和高斯散斑。其次，我们详细介绍了神经场在五个主要机器人领域的应用：姿态估计、操作、导航、物理和自动驾驶，重点介绍了关键工作，并讨论了要点和未来的挑战。项目主页：https://robonerf.github.io/survey/index.html
在机器人领域，NF比传统方法具有几个明显的优势：高质量3D重建：NF生成环境的详细3D表示，这对于导航、操作和场景理解等任务至关重要。多传感器集成：NF可以无缝集成来自多个传感器（如LiDAR和RGB摄像头）的数据，提供更稳健和适应性更强的环境感知。连续和紧凑表示：与固有离散的体素网格或点云不同，NF提供连续表示，使用更少的参数捕获精细的空间细节，提高计算效率。泛化和适应：经过训练，NF可以生成场景的新视角，即使是从以前看不到的视角，这对于探索或操作任务尤其有价值。这种能力是由可推广的NeRF方法实现的。与基础模型集成：NF可以与CLIP或DINO等基础模型相结合，使机器人能够解释和响应自然语言查询或其他语义输入。
机器人神经场
在本节中，我们将深入研究神经场在机器人技术五个主要领域的应用：姿态估计、操作、导航、