自动驾驶决策模拟器问世？OccSora：4D占用生成模型颠覆行业！

编辑：3DCV

添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群

扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程(星球成员免费学习)、最新顶会论文、3D视觉最新模组、3DGS系列(视频+文档)、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 这篇文章干了啥？

作为人工智能技术的一项有前景的应用，自动驾驶近年来吸引了广泛的关注与研究。在自动驾驶中，建立感知、预测和规划之间的关系，对于全面理解该领域至关重要。

传统的自动驾驶模型依赖于自车实例的运动来模拟场景的发展，无法像人类一样对场景感知和车辆运动控制产生深刻的理解。世界模型的出现为深入理解自动驾驶场景与车辆运动之间的综合关系提供了新的可能性。基于强大的图像预训练模型，基于图像的世界模型能够在给定3D边界框的条件下生成高质量的驾驶场景图像。OccWorld进一步在3D占用空间中学习世界模型，这更有利于自动驾驶的3D推理。然而，大多数现有方法采用自回归框架来模拟3D场景的动态（如图像标记、边界框、占用率）࿰