DrivingDojo：中科院联合美团推出的自动驾驶数据集，包含视频片段、驾驶操作和驾驶知识

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

---

🚀 快速阅读

1. 数据集概述：DrivingDojo包含18,000个视频片段，涵盖驾驶操作、多智能体交互及开放世界驾驶知识。
2. 主要功能：提供交互式世界模型训练、动作指令跟随（AIF）、多样化驾驶操作等功能。
3. 技术原理：基于Stable Video Diffusion等技术，开发从初始帧和动作指令生成视频的模型，并使用FID和FVD等指标评估生成视频的质量。

正文（附运行示例）

DrivingDojo 是什么

DrivingDojo是中国科学院自动化研究所与美团无人车团队合作推出的数据集，旨在训练和研究复杂的自动驾驶交互式世界模型。该数据集包含18,000个视频片段，覆盖了完整的驾驶操作、多智能体交互以及丰富的开放世界驾驶知识，为开发下一代自动驾驶模型提供了坚实的基础。

DrivingDojo定义了动作指令跟随（AIF）基准，用于评估世界模型在执行动作控制的未来预测方面的能力。通过这一基准，研究人员可以更好地理解和优化自动驾驶模型的预测能力。

DrivingDojo 的主要功能

• 交互式世界模型训练：提供一个平台，用于训练理