清华最新开源MARS！第一个基于NeRF的自动驾驶开源模拟器！

作者：泡椒味的口香糖 | 来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」即可获取论文pdf。

添加微信：dddvisiona，备注：自动驾驶，拉你入群。文末附行业细分群。

0. 笔者个人体会

这几年，NeRF可以说已经逐渐渗透进了各个领域，新视点合成、三维重建、SLAM等等很多应用都在想方设法得使用NeRF。那么自动驾驶领域呢？虽然在实车上直接边缘部署NeRF还有难度，但是NeRF可以应用到自动驾驶的场景合成上，再用合成的场景做其他事情！普通场景下的自动驾驶算法其实已经做的很好了，但是特殊场景还是很容易出错。主要还是因为特殊场景下的数据集太难找了！自己录制数据也非常麻烦。显然，NeRF强大的合成能力可以模拟极端场景下的路况，尤其是高动态场景，也就进一步模拟了真实的自动驾驶场景。

最近，清华、港科大、麦吉尔大学、北理工、新加坡国立、香港大学、帝国理工、浙江大学等11个单位联合开源了MARS，也是第一个基于NeRF的自动驾驶开源模拟器。直接模拟真实的自动驾驶RGB、深度图和语义分割Mask，这项工作具有实例感知、模块化和真实性等特点，支持多模态输入，可用于深度和语义感知组合渲染，已经获得CICAI 2023最佳论文Runner-up奖。今天笔者将带领大家一起欣赏一下这份工作，当然笔者水平有限，如果有理解