清华最新综述：NeRF+自动驾驶会擦出怎样的火花？

论文标题：

Neural Radiance Field in Autonomous Driving: A Survey

论文作者：

Lei He, Leheng Li, Wenchao Sun, Zeyu Han, Yichen Liu, Sifa Zheng, Jianqiang Wang, Keqiang Li

作者单位：清华大学，香港科技大学信息中心

导读：

本综述结构化地分类了NeRF在自动驾驶中的应用，具体涵盖了感知、三维重建、同时定位与建图以及仿真等领域。这是首个专门聚焦于自动驾驶领域NeRF应用的综述。©️【深蓝AI】编译

1. 摘要

NeRF因其固有的优势，尤其是其隐式表示和新颖视角合成能力，引起了学术界和工业界的极大关注。随着深度学习的迅速发展，众多方法涌现出来，旨在探索NeRF在自动驾驶领域的潜在应用。然而，目前该技术在文献方面明显存在空白。为了弥补这一差距，本文对NeRF在自动驾驶背景下的应用进行了全面的综述。本文的综述结构化地分类了NeRF在自动驾驶中的应用，具体涵盖了感知、三维重建、SLAM以及仿真等领域。本文深入分析了每个应用类别，并总结了研究发现，最后就该领域未来的研究方向提供了见解和讨论。希望本文能成为该领域研究者的综合性参考资料。

2. 介绍

NeRF是一种先进的视觉合成技术，通过体积渲染和神经场景表示，细腻地展现了3D场景复杂性，自2020年ECCV亮相后迅速引领视觉质量革新，并激发后续研究。在自动驾驶快速发展的背景下，从依赖高精地图转向实时环境感知，以及从L2向L4自动驾驶过渡的趋势中，NeRF凭借自我学习能力对局部环境的深入理解，成为提升自动驾驶能力的有力工具。

过去两年，NeRF广泛应用于自动驾驶的多个层面：感知、三维重建、SLAM同步定位与地图构建，以及模拟。

▲图1｜神经辐射场在自动驾驶中的分类体系©️【深蓝AI】编译

在感知领域，NeRF擅长提取精确几何信息，促进物体识别、语义分割等，分为“数据增强型”和“模型协作型”两种应用模式。三维重建上，它分为动态场景重建、表面重建和逆向渲染三大方法。SLAM应用中，NeRF通过优化图像渲染和位姿估算、增强地图精度，支持单独或联合的定位建图功能。模拟应用则分为编辑场景动态元素生成新数据和结合LiDAR数据模拟不同视角场景两类型。

本文综述了NeRF在自动驾驶核心技术中的最新应用，分类探讨了其在各领域的贡献，指出研究空白，并展望未来研究方向，为自动驾驶技术的深化研究提供了全面参考。

本工作的主要贡献如下：

1）这是首次全面回顾NeRF在解决自动驾驶核心技术中的应用。

2）本文提供了最新的NeRF-AD（NeRF在自动驾驶中的应用）方法，根据其核心原理和下游应用进行了系统分类。

3）本文对NeRF-AD进行了全面讨论，提供了关键研究缺口的洞察及未来研究方向的建议。

3. 神经辐射场

NeRF是一种由Mildenhall等人于2020年首次提出的先进技术，它能利用二维带有位置信息的图像作为指导，创造出高度逼真的复杂场景视角合成。NeRF将场景视为一个五维的向量值函数，通过MLP网络实现，该函数输入场景中的点坐标和观察角度，输出该点的颜色和体积密度。这一过程分为两步：首先，网络根据点坐标输出密度和特征向量；随后，将特征向量与观察方向结合以确定该视角的颜色，这样既确保了颜色受观察