自动驾驶相关数据集调研总结（附下载地址）

作者 | 双愚  编辑 | 汽车人

原文链接：https://zhuanlan.zhihu.com/p/551861727

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心技术交流群

后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文！

后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！

后台回复【数据集下载】获取计算机视觉近30种数据集！

目前，数据集的数据来源主要包括相机（图片），摄像头（视频序列），激光雷达（点云），毫米波雷达，4D 成像毫米波雷达，IMU, GPS等，而相对应的任务主要包括：点云分割，目标检测与追踪等。下面将自动驾驶相关的数据集进行汇总收集并介绍。

主要介绍包括：

• 数据集下载

• 目标检测和分割数据集（图像+点云）

• 车道线检测

• 车辆运动轨迹数据集

• 交通标志(Traffic Sign)数据集

• 无人驾驶模拟器(GTA5,TORCS,CARLA,Carcraft)

更多信息，请：https://github.com/HuangCongQing/3D-Point-Clouds

TODO

• 目标检测最新论文实时更新

• 语义分割最新论文实时更新

• 目标检测框架(pcdet+mmdetection3d+det3d)文章撰写

• 数据集详细剖析：kitti&waymo

检测任务举例

1数据集下载

世界上最有价值的不是石油而是数据！

很多同学下载数据集都不知道在哪下载或者说有些下载不了，除了数据集官网，这里推荐一些网站：

部分下载脚本：https://github.com/HuangCongQing/download_3D_dataset

• Google数据集搜索：https://toolbox.google.com/datasetsearch

• Datahub，分享高质量数据集平台：https://datahub.io/

• 用于上传和查找数据集的机器学习数据集存储库：https://www.webdoctx.com/www.mldata.org

• datafountain收集数据集：https://www.datafountain.cn/dataSets

• tinymind收集数据集：https://www.tinymind.cn/sites#group_22

• Graviti 收录了 400 多个高质量 CV 类数据集，覆盖无人驾驶、智慧零售、机器人等多种 AI 应用领域。https://www.graviti.cn/open-datasets

  • 举两个例子：https://bbs.cvmart.net/topics/3346

• 数据集·超神经：https://hyper.ai/datasets

2目标检测和分割数据集

3D目标检测数据集：

3D目标检测是自动驾驶感知任务中，最重要的环节之一，为了完成这项任务，我们会使用多种传感器进行数据收集，较常见的有单目视觉3D目标检测、双目视觉3D目标检测、纯激光雷达目标检测、多传感器融合目标检测。最终输出以六维表示的目标框完成感知任务

3D目标检测数据集：Kitti、nuScenes、lyft dataset、Waymo open dataset、Apollo scape、H3D

研究常用：

1. [KITTI] The KITTI Vision Benchmark Suite. [det.]常用

2. [nuScenes] The nuScenes dataset is a large-scale autonomous driving dataset.用过

3. [The Waymo Open Dataset] The Waymo Open Dataset is comprised of high resolution sensor data collected by Waymo self-driving cars in a wide variety of conditions. [det.]

更多点云数据集参考：https://github.com/Yochengliu/awesome-point-cloud-analysis#---datasets

2D目标检测

2D检测在自动驾驶数据集中并不是核心目标，当前研究目标检测的核心任务还是在MS COCO数据集上，在MS COCO上做好的且排名靠前的算法，会被直接应用到自动驾驶2D目标检测数据集上 在自动驾驶领域也扮演著即为重要的角色，主要用途集中在交通灯状态识别、交通指示牌检测、电子眼检测、辅助3D目标检测等任务。其输入是相机拍摄的RBG图片，输出是目标在图片中的位置与宽高。

2D目标检测数据集：MS COCO、Pascal VOC、Open Images、Kitti、Mapillary Vistas Dataset、BDD100k

语义分割

语义分割在自动驾驶应用中主要包含了可驾驶区域检测，行人、车、障碍物等检测，与目标检测与实例分割最大的不同是，语意分割不需要区分个别目标，适合识别图像中较大块且不规则形状的目标，例如道路、天空、树等。经典算法如U-Net、Deeplab系列

语义分割分割数据集：Cityscapes、CamVid、PASCAL VOC、Mapillary Vistas Dataset

常用点云语义分割数据集：

1. [S3DIS] The Stanford Large-Scale 3D Indoor Spaces Dataset. [seg.]常用

2. [SemanticKITTI] Sequential Semantic Segmentation, 28 classes, for autonomous driving. All sequences of KITTI odometry labeled. [ICCV 2019 paper] [seg.oth.aut.]常用

3. semantic3D

更多点云数据集参考：https://github.com/Yochengliu/awesome-point-cloud-analysis#---datasets

实例分割

实例分割作为目标检测的难度升级版，任务主要为检测出每个目标框之后，将目标框的遮掩也与检测标记出，更精准的描述了每个物体的具体位置。当前主流的算法为MaskRCNN等系列工作，如Mask Scoring RCNN等

实例分割数据集：MSCOCO、Kitti、Cityscapes、Mapillary Vistas Dataset

单目标追踪、多目标追踪

目标追踪任务是将给定帧中的物体透过目标检测算法检测出来，在使用追踪算法对其进行追踪，自动驾驶感知任务中，较常见的作法为每一帧都做检测，同时为了怕漏检与误检，则会对目标检测任务额外使用目标追踪进行监督，使整体感知任务更鲁棒。

数据集：kitti、nuScenes、Waymo dataset、Apollo scape、 D²-City

领域迁移

领域迁移任务目标是将来源不同的数据集，来源一用于训练模型，来源二用于验证在来源一数据的学习情况，具体可以从虚拟数据集迁移到真实数据集，也可以将中国自动驾驶数据集迁移到美国自动驾驶数据集，其任务难度主要来源于找寻任务中特徵的不变性（invariance），如真实车与虚拟车或是中美车，其实在形状上都不会有较大差异，此类物件较适合进行此迁移任务。

数据集：BDD100K （美）& D²-City （中）、SYNTHIA （假）& CityScapes（真）

3车道线检测

车道线检测数据集：Kitti、CULane、tusimple

2017年：

• Mapillary：一共25k张图片，数据采集于6大洲，貌似还有付费版，下载需要提交申请

• TuSimple：一共72k张图片，位于高速路，天气晴朗，车道线清晰，特点是车道线以点来标注

• VPGNet：一共20k张图片，卖点是恶劣天气情况，大雨，黑夜这种，下载需要填问卷

• CULane：一共98k张图片，包含拥挤，黑夜，无线，暗影等八种难以检测的情况，采数据用了6辆北京的出租车

2018年：

• BDD100k：120M张图片，伯克利大学推出的一个非常全面的数据集，也包含车道线

• ApolloScape：144k张图片

其中TuSimple和CULane是车道线检测文章最常使用的数据集。其中TuSimple挑战性低，场景多为高速公路，新论文喜欢用它来验证可行性。与之相比CULane场景复杂，很多位于北京城区，难度较高。

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D感知、多传感器融合、SLAM、高精地图、规划控制、AI模型部署落地等方向；

加入我们：自动驾驶之心技术交流群汇总！

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D感知、多传感器融合、目标跟踪）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！