51-55 CVPR 2024 | AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving

24年3月，NEC Lab联合西北大学、加州大学圣地亚哥分校发布了《AIDE：一种用于自动驾驶目标检测的自动化数据引擎》这篇论文。

### 该论文坚定了AIgrpahX大模型项目组数据引擎的思路，即利用VLM、LLM进行数据标注和验证，如此反复迭代。结合已经探讨过的开放自动驾驶数据集生成方法，加上利用AIGC生成CornerCase仿真场景，AIgrpahX数据引擎Data Engine工作变得日益完善。

Abstract

自动驾驶汽车(AV)系统依赖强大鲁棒的感知模型作为安全保证的基石。然而，道路上遇到的物体呈现出长尾分布，罕见或没见过的类别给部署的感知模型带来了挑战。这就需要一个昂贵的过程，即花费大量人力不断地整理和标注数据。我们提议利用视觉语言模型VLM、大型语言模型LLM设计一个自动化数据引擎(AIDE)，该引擎可以自动识别问题、有效地整理数据、通过自动标注改进模型，并通过生成不同的场景来验证模型。通过不断地迭代，模型能不断地自我完善。我们进一步在AV数据集上建立了开放世界检测的基准，以综合评估各种学习范式。AIDE模型不但降低了成本，还具有优越的性能。

1. Introduction

自动驾驶汽车(AV)在一个不断变化的世界中运行，在长尾分布中遇到各种各样的物体和场景。这种开放世界的特性给自动驾驶系统带来了重大挑战，因为它是一种安全关键应用，必须部署可靠且训练有素的模型。随着环境的发展，对模型持续改进的需求变得明显，需要高适应性的处理突发事件。尽管每分钟在路上都收集了大量数据，但由于识别要利用哪些数据存在挑战，其有效利用率仍然很低。虽然在工业界有各种解决方案，但它们通常是商业秘密，而且可能需要大量的人力。因此，开发一个全面的自动化数据引擎可以降低 AV 行业的进入