自动驾驶论文研读CODA: A Real-World Road Corner Case Dataset for Object Detection in Autonomous Driving

摘要。

当代深度学习目标检测方法通常假定固定的常见交通参与者类别，例如行人和汽车。大多数现有的检测器无法检测到不常见的对象和边角情况（例如，狗穿过街道），这可能会在某些情况下导致严重事故，使得可靠自动驾驶的实际应用时间不确定。妨碍真正可靠的自动驾驶系统发展的一个主要原因是缺乏公共数据集来评估在边角情况下的目标检测器性能。因此，我们介绍了一个名为CODA的具有挑战性的数据集，揭示了这个基于视觉的检测器的关键问题。该数据集包含1500个精心挑选的真实驾驶场景，每个场景平均包含四个object级别的边角情况，涵盖了30多个对象类别。在CODA上，标准目标检测器的性能显着下降，最多只有12.8％的mAR。此外，我们还实验了最先进的开放式世界目标检测器，并发现它也无法可靠地识别CODA中的新对象，这表明自动驾驶的强大感知系统可能仍然遥不可及。我们期望我们的CODA数据集促进进一步研究可靠的自动驾驶目标检测。我们的数据集可在https://coda-dataset.github.io获得。

介绍

深度学习在自动驾驶中的目标检测方面取得了显著的成功。这一成功主要归功于在真实驾驶场景中提取的大量数据上训练的深度神经网络，这已成为现有自动驾驶系统中不可或缺的组成部分。虽然这些模型擅长检测常见的交通参与者（例如汽车、行人和自行车），但它们通常无法检测在训练过程中未见或很少见的新对象，即分布外样本[。例如，在高速公路上疾驰的车辆可能无法检测到路前的失控轮胎或翻车卡车。自动驾驶中目标检测的这些失败案例可能导致严重后果，使生命处于危险之中。
为了解决这个问题，我们引入了CODA，一个包含真实世界驾驶场景中物体级别边缘情况的新数据集。CODA是从自动驾驶的三个主要物体检测基准KITTI [11]、nuScenes [4]和ONCE [29]中构建的。在图2中，CODA的示例展示了多样化的场景和各种新颖的物体。总共从超过一百万个场景的组合数据集中选择了1500个场景（图像），导致近6000个高质量的注释道路边缘情况。CODA的选择过程包括两个阶段：首先是对潜在的边缘情况进行全自动生成提议，然后进行动检查和纠正提议。我们的边缘情况提议生成方法COPG显著减少了第二阶段的人力成本，它是一个通用的流水线，只需要来自相机和激光雷达传感器的原始传感数据，即不需要注释。我们相信这种方法可以用于高效地生产更多的边缘情况数据集。

在CODA上，我们评估了各种物体检测方法，包括标准（封闭世界）检测器，如Faster R-CNN [34]；最近提出的开放世界检测器ORE [19]，它能够检测到某些未见类别的物体；以及两种异常检测方法[12,43]，在某种程度上也适用于该任务。我们的实验结果表明，没有一种方法能够始终检测到CODA中的新物体，这说明CODA的挑战性。总的来说，这些方法中没有明显的优胜者，尽管ORE在封闭世界检测器上显示出一些改进。最后，我们希望CODA可以作为评估自主驾驶机器感知鲁棒性的有效手段，从而促进真正可靠的自驾系统的发展。本文的主要贡献可以总结如下：
-我们提出了CODA，这是第一个真实世界的道路边角用例数据集，可作为全面可靠的自驾车开发基准。
-我们评估了各种最先进的物体检测器（例如Cascade R-CNN [5]，Deformable DETR [49]和Sparse R-CNN [39]），表明真正可靠的自驾系统可能仍然遥不可及。
-我们介绍了COPG，这是一种通用的边角用例发现pipeline，可将大规模数据集的人工标注工作减少近90%。

相关工作

==道路异常和边角用例数据集。==在道路异常和边角用例检测领域，先驱性的数据集之一是Lost and Found数据集[30]，其中包含人工场景中的小物体。后来引入的数据集主要集中在语义分割上。值得注意的包括Lis等人的道路异常数据集[24]，其中包含60个真实世界场景，以及Fishyscapes [1]，这是一个通过将从Web上爬取的对象覆盖到Cityscapes [9]和Lost and Found数据集的场景上创建的合成数据集。StreetHazards [17]是另一个通过计算机图形模拟场景的合成数据集。在同一篇论文中，作者还介绍了BDD-Anomaly，这是BDD100K [45]的一个子集，将火车和摩托车视为异常物体。
==目标检测。==现有的方法通常可以根据生成候选框的方式被一般性地分类为单阶段和双阶段。单阶段检测器[22,25,33]在给定图像的每个位置上密集地预测类别分布和框坐标，而双阶段检测器[5,21,34]利用区域提议网络（RPN）生成感兴趣的区域（RoI），然后将其输入到多头网络中进行类别和坐标偏移预测。cascadeRCNN[5]通过添加一系列使用逐渐增加的IoU阈值训练的头部进一步改进。采用ImageNet监督预训练加快训练，而自监督预训练[6,15,28]最近表现出更好的迁移性能。以前的检测器大多在封闭世界的情况下进行训练，只能检测属于预定义的语义类别集的物体。为了构建一个真实世界的感知系统，开放式检测[19]引起了更多的关注，它可以明确地检测未知类别的对象作为未知。

Properties of CODA

构图。CODA中的场景是从三个大规模自动驾驶数据集（KITTI [11]、nuScenes [4]和ONCE [29]）中精心选择的。它们共为CODA贡献了1500个多样化的场景，每个场景至少包含一个对自动驾驶车辆或其周围生命和财产有危险的物体级别的边角情况。这些边角情况通常可以分为7个超类：车辆、行人、骑车人、动物、交通设施、障碍物和杂项，这些超类控制着图3中列出的34个细粒度类别。此外，这些类别可以分为新颖类别和常见类别。常见类别代表现有自动驾驶基准测试的常见物体类别（例如汽车和行人）；而新颖类别则代表相反的类别，如狗。
多样性。CODA的数据多样性可以从物体级别和场景级别两个方面看出。在物体级别上，CODA包括广泛的物体类别，其中大多数被现有基准测试所忽略（见图3）。尽管某些类别只有几个实例（由于边角情况的自然稀缺性），但它们构成了真实驾驶环境的重要组成部分。值得注意的是，交通设施（如交通锥和障碍物）占据了边角情况的大部分，因为它们确实更常见，经常大量出现。在场景级别上，CODA包含来自三个不同国家的场景，如图2所示，它们彼此不同。因此，它们引入了更多新颖性到边角情况中，因为物体外观的差异也是场景领域转移的一部分。从图4中可以看出不同领域之间的差异，其中前4个常见类别的分布差异很大。此外，CODA中的场景展示了不同的天气条件，其中75％是晴朗的，22％是多云的，4％是雨天。最后，除了白天场景，还有9％的场景是夜景。

生成角落案例提案的流水线（COPG）。输入pipeline是给定场景的点云和相机图像。点云用于计算（a），而相机图像（b）用于生成（c）和（d），然后帮助删除无效的提案。输出（g）是一组边界框，表示相机图像中建议的角落案例。
在表格1中，我们将CODA与几个具有对象级注释的知名道路异常数据集进行比较。与CODA不同的是，这些数据集要么是合成的，要么规模较小。其中最大的真实世界道路异常数据集BDD-Anomaly（v1）[17]仅包含两个对象类，尽管在实例数量上它与CODA相当。