【论文解读】Multiagent Multitraversal Multimodal Self-Driving: Open MARS Dataset

摘要

大规模数据集推动了基于人工智能的自动驾驶汽车研究的最新进展。然而，这些数据集通常是从单个车辆一次性通过某个位置收集的，缺乏多智能体交互或同一地点的重复穿越。这些信息可以带来自动驾驶汽车感知、预测和规划能力的变革性增强。为了弥补这一差距，我们与自动驾驶公司May Mobility合作，提出了MARS数据集，该数据集统一了多Agent、多行程和多模式自动驾驶汽车研究的场景。更具体地说，MARS是由在特定地理区域内行驶的自动驾驶汽车车队收集的。每辆车都有自己的路线，不同的车辆可能会出现在附近的位置。每辆车都配备了激光雷达和环绕RGB摄像头。我们在MARS中策划了两个子集：一个子集有助于多辆车同时出现在同一位置的协同驾驶，另一个子集通过多辆车对同一位置进行异步遍历来实现记忆回顾。我们进行了原位识别和神经重建实验。更重要的是，MARS引入了新的研究机遇和挑战，如多遍历3D重建、多智能体感知和无监督对象发现。我们的数据和代码可以在https://ai4ce.github.io/MARS/.

引言

现有的驾驶数据集通常关注地理和交通多样性，而没有考虑两个实际维度:多智能体(协作)和多遍历(回顾)。协作维度强调了位于同一空间区域的多辆汽车之间的协同作用，促进了它们的合作感知、预测和规划。回顾维度使车辆能够通过借鉴以前访问同一地点的视觉记忆来增强对3D场景的理解。采用这些维度可以解决在线感知能力有限和离线重建的稀疏视图等挑战。
然而，现有的数据集通常是由单个车辆在一次穿越特定地理位置时收集的。为了推进自动驾驶汽车的研究，特别是在协作和回顾方面，研究团体需要一个更全面的真实驾驶场景数据集。为了填补这一空白，我们引入了Open MARS数据集，它提供了MultiAgent、multitraveRSal和多模态记录，如图1所示。所有的记录都来自May Mobility1在现实世界中运行的自动驾驶汽车。

• 多智能体。我们部署了一组自动驾驶汽车来导航指定的地理区域。这些车辆可以同时处于相同的位置，允许通过车辆到车辆的组合进行协作 3D 感知。
• 多遍历。我们在不同的照明、天气和交通状况下捕获同一空间区域内的多次遍历。每个遍历可能遵循一条独特的路线，覆盖不同的行驶方向或车道，从而产生多个轨迹，为3D场景提供不同的视觉观察。
• 多模态。我们为自动驾驶汽车配备了 RGB 相机和 LiDAR，两者都具有完整的 360 度视野。这种全面的传感器套件可以实现多模态和全景场景理解。

我们对位置识别和神经重建进行了定量和定性实验。更重要的是，MARS 为视觉和机器人社区引入了新的研究挑战和机遇，包括但不限于多智能体协作感知和学习、重复遍历下的无监督感知、持续学习、神经重建和具有多个代理或多个遍历的新颖视图合成。

Visual place recognition.在计算机视觉和机器人领域，视觉位置识别(VPR)非常重要，它可以根据视觉输入识别特定的位置[34]。具体来说，VPR系统的功能是将给定的查询数据(通常是图像)与现有的参考数据库进行比较，并检索与查询最相似的实例。该功能对于在gps不可靠的环境中操作的基于视觉的机器人至关重要。VPR技术一般分为两类:传统方法和基于学习的方法。

• 传统方法利用手工制作的特征[35,36]来生成全局描述符[37]。然而，在实际应用中，外观变化和视点有限会降低VPR的性能。
• 为了解决外观变化的挑战，基于学习的方法利用深度特征表示[38-40]

除了基于图像的VPR之外，还提出了基于视频的VPR方法[41-43]，以获得更好的鲁棒性，减轻视频片段的有限视点。此外，CoVPR[44]为VPR引入了协作表示学习，弥合了多智能体协作和位置识别之间的差距，并通过利用合作者的信息解决了有限的观点。除了2D图像输入，PointNetVLAD[45]探索了基于点云的VPR，为位置识别提供了独特的视角。在本文中，我们评估了单智能体VPR和协作VPR。

NeRF for autonomous driving. 无界驾驶场景中的神经辐射场(Neural radiance fields, NeRF)[46]最近受到了很多关注，因为它不仅促进了高保真神经模拟器的开发[16]，而且还实现了环境的高分辨率神经重建[47]。关于新视图合成(NVS)&#