英伟达新作 | 可提示的闭环交通仿真-CSDN博客

编辑 | 自动驾驶专栏

点击下方卡片，关注“自动驾驶之心”公众号

本文只做学术分享，如有侵权，联系删文

论文链接：https://arxiv.org/pdf/2409.05863
项目主页：https://ariostgx.github.io/ProSim/

摘要

本文介绍了可提示的闭环交通仿真。仿真是安全且高效的自动驾驶开发的基石。仿真系统的核心应该是生成逼真、反应灵敏且可控的交通模式。本文提出了ProSim，这是一种多模态可提示的闭环交通仿真框架。ProSim允许用户给出一组复杂的数值提示、分类提示或者文本提示，以引导每个智能体的行为和意图。然后，ProSim以闭环方式生成交通场景，并且建模每个智能体与其他交通参与者的交互。本文实验表明，ProSim在不同用户提示下实现了较高的提示可控性，同时在Waymo Sim Agents挑战赛（没有给定提示）中达到了具有竞争力的性能。为了支持对可提示交通仿真的研究，本文创建了ProSim-Instruct-520k，这是一种多模态提示-场景配对的驾驶数据集，包含超过520k个现实世界驾驶场景的10M多条文本提示。

主要贡献

本文的贡献为如下三方面：

1）本文引入了ProSim，这是首创的闭环交通仿真框架；

2）本文创建了ProSim-Instruct-520k，这是一种大规模的多模态提示-场景驾驶数据集，它是首个包含丰富语义智能体运动标签和文本说明的驾驶数据集；

3）本文将发布ProSim的代码和检查点以及ProSim-Instruct-520k的数据、基准和标注工具，以促进智能体运动仿真研究。

论文图片和表格

总结

本文提出了ProSim，这是一种多模态可提示的闭环交通仿真框架。在用户给定一组复杂的多模态提示的情况下，ProSim以闭环方式模拟交通场景，同时引导智能体遵循提示。ProSim在不同的复杂用户提示下展现出高度的真实感和可控性。本文还开发了ProSim-Instruct-520k，这是首个多模态提示-场景配对的驾驶数据集，其包含超过520K个场景和10M+条提示。本文相信，ProSim模型和数据集套件将为未来对驾驶场景以内和以外的可提示人类行为仿真进行研究。

局限性：ProSim尚不支持任意的提示。复杂的智能体交互（例如，“<A0>从左车道超车<A1>”）或者更为复杂的模态（例如，提示<A0>使用其前视图像）将作为今后的工作。

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频