“真假难辨”！巧用NeRF生成的自动驾驶仿真数据

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『NeRF』技术交流群

作者 | 3D视觉之心

写在前面&笔者的个人理解

神经辐射场（NeRF）已成为推进自动驾驶（AD）重新搜索的有前途的工具，提供可扩展的闭环模拟和数据增强功能。然而，为了信任模拟中获得的结果，需要确保AD系统以相同的方式感知真实数据和渲染数据。尽管渲染方法的性能正在提高，但许多场景在忠实重建方面仍然具有固有的挑战性。为此，我们提出了一种新的视角来解决真实数据与模拟数据之间的差距。我们不只是专注于提高渲染保真度，而是探索简单而有效的方法，在不影响真实数据性能的情况下，增强感知模型对NeRF伪影的鲁棒性。此外，我们使用最先进的神经渲染技术，首次对AD设置中的真实到模拟数据间隙进行了大规模调查。具体来说，我们在真实和模拟数据上评估了对象检测器和在线映射模型，并研究了不同预训练策略的效果。我们的结果显示，模型对模拟数据的稳健性显著提高，甚至在某些情况下提高了真实世界的性能。最后，我们深入研究了真实到模拟间隙与图像重建指标之间的相关性，将FID和LPIPS确定为强指标。

也欢迎大家加入【3D视觉之心】Nerf技术交流群

在本文中，我们提出了一种新的视角来缩小智驾系统不同感知模块的真实数据和模拟数据之间的差距。我们的目标不是提高渲染质量，而是在不降低真实数据性能的情况下，使感知模型对NeRF伪影更具鲁棒性。我们认为，这一方向是对提高NeRF性能的补充，也是实现可扩展虚拟AV测试的潜在关键。作为朝着这个方向迈出的第一步，我们表明，即使是简单的数据增强技术也会对模型对NeRF伪影的鲁棒性产生很大影响。

此外，我们对大规模AD数据集进行了首次广泛的real2sim gap研究，并评估了多个目标检测器以及在线建图模型对真实数据和最先进（SOTA）神经渲染方法数据的性能。我们的研究包括训练过程中不同数据增强技术的影响，以及推理过程中NeRF渲染的保真度。我们发现，在模型微调过程中集成这些数据显著增强了它们对模拟数据的鲁棒性，在某些情况下，甚至提高了对真实数据的性能。最后，我们研究了real2sim间隙和常见图像重建指标之间的相关性，以深入了解将NeRFs用作AD数据模拟器的重要意义。我们发现LPIPS和FID是real2sim差距的有力指标，并进一步证实了我们提出的增强降低了对较差视图合成的敏感性。

方法详解

NeRF驱动的模拟引擎可以大大加速AD功能的测试和验证，因为它们可以使用已经收集的数据探索新的虚拟场景。然而，为了使此类模拟结果可信，AD系统在暴露于渲染数据和真实数据时必须以相同的方式运行。以前，这已经通过渲染更真实的传感器数据来改进模拟来解决。在这项工作中，我们提出了一种替代和补充的方法，即我们调整AD系统，使其对真实数据和模拟数据之间的差异不那么敏感。

作为朝着这个方向迈出的第一步，我们探索了不同的微调策略如何使感知模型对渲染数据中的伪影更具鲁棒性。具体来说，在给定已经训练好的模型的情况下，我们使用图像来微调感知模型，这些图像旨在提高渲染图像的性能，同时保持真实数据的性能，见图2。除了减少real2sim差距外，这还可能降低对传感器真实性的要求，为神经渲染方法的更广泛应用开辟道路，并减少对所述方法的训练和评估的计算需求。请注意，当我们专注于感知模型时，我们的方法也可以很容易地扩展到端到端模型。

最后，我们可以想象多种方法来实现使模型更健壮的目标，例如从领域自适应和多任务学习文献中汲取灵感。然而，微调需要最小的模型特定调整，使我们能够轻松地研究一系列模型。

Image augmentations

获得对伪影增强鲁棒性的经典策略是使用图像增强。在这里，我们选择增强来表示渲染图像中存在的各种失真。更具体地说，我们添加随机高斯噪声，将图像与高斯模糊核卷积，应用类似于SimCLR中发现的光度失真，最后对图像进行下采样和上采样。增广是按顺序应用的，每个增广都有一定的概率。

Fine-tuning with mixed-in rendered images

使感知模型适应NeRF渲染数据的另一种自然方式是在微调期间包括这样的数据。这涉及到在用于监督感知模型的相同数据集上训练NeRF方法。然而，对于大型数据集来说，在所有上训练NeRF的成本可能高得令人望而却步。相反，我们在子集上训练NeRF。注意，除了给定感知任务的注释外，AD的NeRF通常还增加了中数据的顺序要求，其中一些还需要3D对象检测、语义分割或多种类型标签等任务的标签。

接下来，我们将中所选序列的图像划分为NeRF训练集和保持集。感知模型的微调是在它们的整个训练数据集D上完成的，对于在D中具有渲染对应关系的图像，我们使用具有概率p的渲染图像。这意味着用于微调的图像没有被NeRF模型看到。

Image-to-image translation

如前所述，渲染NeRF数据是一种昂贵的数据增强技术。此外，除了感知任务所需的数据外，它还需要顺序数据和潜在的额外标记。也就是说，为了获得可扩展的方法，我们理想地想要一种有效的策略来获得单个图像的NeRF数据。为此，我们建议使用图像对图像的方法来学习生成类NeRF图像。给定真实图像，该模型将图像转换到NeRF域，有效地引入了NeRF的典型伪影。这使我们能够在有限的计算成本下，在微调过程中大幅增加类NeRF图像的数量。我们使用渲染图像Dnerf及其相应的真实图像来训练图像到图像模型。不同增强策略的可视化示例见图3。

结果

结论

神经辐射场（NeRF）已成为模拟自动驾驶（AD）数据的一种很有前途的途径。然而，为了实用，必须了解AD系统在模拟数据上执行的行为是如何转换为真实数据的。我们的大规模调查揭示了暴露于模拟图像和真实图像的感知模型之间的性能差距。

与早期专注于提高渲染质量的方法不同，本文研究了如何改变感知模型，使其对NeRF模拟数据更具鲁棒性。我们表明，使用NeRF或类似NeRF的数据进行微调，在不牺牲真实数据性能的情况下，大大减少了对象检测和在线映射方法的real2sim间隙。此外，我们还表明，在现有的列车分布之外生成新的场景，例如模拟车道偏离，可以提高实际数据的性能。对NeRF社区内常用图像指标的研究表明，LPIPS和FID分数与感知性能表现出最强的相关性。这表明，与单纯的重建质量相比，感知相似性对感知模型具有更大的意义。

总之，我们认为NeRF模拟数据对AD有价值，尤其是当使用我们提出的方法来增强感知模型的稳健性时。此外，NeRF数据不仅有助于在模拟数据上测试AD系统，而且有助于提高感知模型在真实数据上的性能。

参考

[1] Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近2700人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦2D/3D目标检测、语义分割、车道线检测、目标跟踪、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、在线地图、点云处理、端到端自动驾驶、SLAM与高精地图、深度估计、轨迹预测、NeRF、Gaussian Splatting、规划控制、模型部署落地、cuda加速、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！