GenAD & Vista：构建通用可泛化的自动驾驶世界模型

江湖人称麻花滕

于 2024-10-14 20:52:07 发布

阅读量575

点赞数 18

文章标签：自动驾驶人工智能机器学习敏捷流程微服务架构云原生

本文链接：https://blog.csdn.net/m0_59235699/article/details/142928475

版权

近期，OpenAI领投的1X Technologies发布了1X World Model，将世界模型的概念引入到了人形机器人中。世界模型在具身智能的多个子领域也得到了广泛的关注。世界模型是真实世界的模拟，可以预测不同控制指令对应的未来状态，并反馈给智能体的训练和决策过程。作为通往L5自动驾驶的关键技术之一，世界模型也在自动驾驶领域也受到了广泛的关注。

GenAD 由上海人工智能实验室 OpenDriveLab 联合香港和德国的多家高校机构，专为自动驾驶领域设计的一种可以理解和预测复杂驾驶场景动态的大规模视频预测模型。GenAD 不仅能够基于过去的观察预测未来的视频帧，还能根据文本指令或特定的行动轨迹条件生成视频，这使得它在模拟和规划等自动驾驶下游任务中具有广泛的应用潜力。GenAD 论文已被收录为 CVPR 2024 Highlight。

Paper：GenAD: Generalized Predictive Model for Autonomous Driving   Abs：https://arxiv.org/pdf/2403.09630

GenAD 是建立在目前最大的自动驾驶视频数据集 OpenDV-2K 之上，该数据集包含来自全球超过2000小时的自动驾驶视频，覆盖了多样化的地理、天气和交通场景，为模型提供了丰富的训练素材。

Vista 是 OpenDriveLab 最新推出的新一代的自动驾驶世界模型，其具有高度可泛化与可控性。与上一代自动驾驶世界模型 GenAD 相比，该工作在以下方面均具有优异性能提升：多样且高分辨率的未来驾驶场景、稳定的长时序预测结果、多模态的自车控制输入、任意场景的奖励（reward）评估。Vista 的论文已被 NeurIPS 2024 接收。

Paper：Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability   Abs：https://arxiv.org/abs/2405.17398   Code：https://github.com/opendrivelab/vista

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述