51-57 CVPR 2024 | Cam4DOcc：自动驾驶应用中仅摄像机4D占用预测基准

23年12月，上海交通大学、国防科技大学、北京工业大学联合发布Cam4DOcc: Benchmark for Camera-Only 4D Occupancy Forecasting in Autonomous Driving Applications。

本文提出了一种仅摄像机4D占用预测的新基准Cam4Occ，利用现有nuScenes、nuScenes-Ocuplication 和 Lyft-Level5数据集构建。同时，引入了一种新的端到端时空网络OCFNet，其接收过去连续环视摄像头图像来预测当前和未来4D占用状态。它利用多帧特征聚合模块提取3D体素特征；利用未来状态预测模块，预测未来占用和后向向心流。

实验证明，端到端时空网络OCFNet可能是仅摄像头4D占用预测最有前途的研究方向。

数据集和代码已经开源：https://github.com/haomo-ai/Cam4DOcc.

Abstract

了解周围环境的变化对于在自动驾驶应用中安全可靠地执行下游任务至关重要。最近仅使用摄像机图像作为输入的占用估计技术可以提供基于当前观测的大规模场景的密集占用表示。然而，它们大多局限于表示当前的3D空间，没有考虑周围物体沿时间轴的未来状态。为了将仅摄像机占用估计扩展到时空预测，我们提出了Cam4Occ，这是一种用于仅摄像机4D占用预测的新基准，用于评估在不久的将来周围