计算机视觉与图形学-神经渲染专题-第一个基于NeRF的自动驾驶仿真平台

如今，自动驾驶汽车可以在普通情况下平稳行驶，人们普遍认识到，真实的传感器模拟将在通过模拟解决剩余的极端情况方面发挥关键作用。为此，我们提出了一种基于神经辐射场（NeRF）的自动驾驶模拟器。与现有作品相比，我们的作品具有三个显着特点：（1）实例感知。我们的模拟器使用独立的网络分别对前景实例和背景环境进行建模，以便可以单独控制实例的静态（例如大小和外观）和动态（例如轨迹）属性。(2)模块化。我们的模拟器允许在不同的 NeRF 相关主干、采样策略、输入模式等之间灵活切换。我们期望这种模块化设计能够促进基于 NeRF 的自动驾驶模拟的学术进步和工业部署。(3)真实感。考虑到最佳的模块选择，我们的模拟器设置了新的最先进的照片级真实感结果。我们的模拟器将是开源的，而我们的大多数模拟器则不是。

论文地址：https://arxiv.org/pdf/2307.15058.pdf

github地址：https://open-air-sun.github.io/mars/

核心框架

我们首先计算所待查询的射线 r 和所有可见实例边界框的射线盒交集。对于背景节点，我们直接使用选定的场景表示模型和选定的采样器来推断逐点属性，就像传统 NeRF 中一样。对于前景节点，光线首先被转换为实例帧，然后通过前景节点表示进行处理。右：所有样本都被组合并渲染为 RGB 图像、深度图和语义。

优化器中的Loss

颜色监督：标准的MSE；

深度监督：直接获取/单目深度估计获得；

语义监督：跟随着SemanticNeRF，并使用一个交叉熵Loss；

天空监督：引入 BCE 语义正则化来来支持使用天空模型来处理无限远距离处的外观；

accum监督：最小化背景截断采样的密度和，来去除伪影；

实验效果

结论与局限性

在本文中，我们提出了一个基于 NeRF 的逼真自动驾驶模拟模块化框架。我们的开源框架由一个后台节点和多个前台节点组成，能够对复杂的动态场景进行建模。我们通过大量的实验证明了我们框架的有效性。所提出的管道在公共基准上实现了最先进的渲染性能。我们还支持场景表示和采样策略的不同设计选择，从而在模拟过程中提供灵活性和多功能性。 

局限性。 

我们的方法需要数小时的训练，并且无法实时渲染。此外，我们的方法未能考虑玻璃或其他反射材料上的动态镜面反射效应，这可能会导致渲染图像中的伪影。提高模拟效率和视图相关效果将是我们未来的工作。