淘气的物体检测

yankaixiaoxiao

已于 2022-10-28 21:51:25 修改

阅读量292

点赞数

分类专栏：深度学习文章标签：视觉检测深度学习

于 2022-10-28 21:32:09 首次发布

本文链接：https://blog.csdn.net/qq_29972889/article/details/127335427

版权

深度学习专栏收录该内容

3 篇文章 1 订阅

订阅专栏

在这里插入图片描述

1.基础

（1）研究背景

在这里插入图片描述

（2）发展脉络

在这里插入图片描述

（3）数据集

<1>通用物体检测数据集

在这里插入图片描述

<2>人脸检测数据集

在这里插入图片描述

<3>行人检测数据集

在这里插入图片描述

<4>车道线检测数据集

参考论文：amusi/awesome-lane-detection
From：车道线数据集

ApolloScape
- 论文: The ApolloScape Open Dataset for Autonomous Driving and its Application
- 简介: 百度2018年公开（CVPR2018 workshops），包含多种道路目标的语义标签（车辆、车道等等），同时也有3D点云信息
- 评估准则：mAP
CULane
- 论文: Spatial as deep: Spatial CNN for traffic scene understanding
- code: https://github.com/XingangPan/SCNN
- 简介：商汤和港中文团队2018年公开的（AAAI2018）车道线数据，涵盖了北京不同天气下的多种不同类型的车道线数据，共133235张图，整体分析如下：
- 评估准则: F1-measure
Tusimple
- Tusimple2017是由图森发起的自动驾驶车道线检测挑战赛中公布的数据，参考官方链接https://github.com/TuSimple/tusimple-benchmark/tree/master/doc/lane_detection
Cityscapes
- 官网介绍https://www.cityscapes-dataset.com/，包含城市道路场景的多种目标的语义信息
BDD100K
- 论文: BDD100K: A Diverse Driving Dataset for Heterogeneous Multitask Learning
- 由UC伯克利等学校2020年公布的一项自动驾驶数据集，包含障碍物、车道线、行驶区域等，其中lane marking数据共100000张图像
Caltech
- 链接: http://www.mohamedaly.info/datasets/caltech-lanes
- 1225张美国加州的道路数据
LLAMAS
- 论文：https://ieeexplore.ieee.org/document/9022318
- code: https://github.com/karstenBehrendt/unsupervised_llamas
- 评估准则：暂未定
VPGNet
- 论文: VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition
- code: VPGNet
- ICCV2017的一篇工作，包含21097张韩国首尔的道路图像，包含白天（非雨天、雨天、大雨天）、夜晚的数据，同时包含了各种车道线类型，以及其他不同类型的车道标识（左转箭头、直行箭头、斑马线等等）
其他
- KITTI，CamVid等样本相对比较少的数据集

<5>交通标识数据集

From：最全自动驾驶数据集分享系列一｜目标检测数据集（3/3）
在这里插入图片描述

Mapillary Traffic Sign Dataset
- 发布方：Mapillary
- 下载地址：https://www.mapillary.com/dataset/trafficsign
- 论文地址：https://arxiv.org/abs/1909.04422
- 发布时间：2020年
- 简介：Mapillary 交通标志数据集是世界上最大、最多样化的公开交通标志数据集，用于检测和分类世界各地的交通标志
- 特征
  100,000 张高分辨率图像，52,000 张全部标注，48,000 张部分标注
  313个带有边界框标注的交通标志类别， 320,000 个标注的交通标志
  多样性：覆盖各种天气、季节、一天中的各种时间，同时包含城市和乡村地区道路，图像和交通标志类别的全球地理范围，覆盖 6 大洲
DriveU Traffic Light Dataset
- 发布方：乌尔姆大学 (Ulm University)
- 下载地址：https://www.uni-ulm.de/in/iui-drive-u/projekte/driveu-traffic-light-dataset/registrierungsformular-dtld/
- 论文地址：https://doi.org/10.1109/ICRA.2018.8460737
- 发布时间：2018年
- 简介：数据集提供差值图像，对宽度为 5 像素或更小的对象进行标注，非常适合在非常低的分辨率下进行物体识别领域的研究
- 特征
  188个视频片段，3366张标注图片，分辨率为2048x1024，40951个标注对象，超过 230,000 个带注释的交通信号
  标注：344 个不同的标签类别，2D标注，交通灯包含不同属性如灯的颜色、方向
  采集环境：德国11个城市，包含不同天气和白天不同时间，2300公里驾驶路程
  采集设备：2个百万像素级别相机进行采集
Tsinghua-Tencent 100K Tutorial
- 发布方：清华大学
- 下载地址：https://cg.cs.tsinghua.edu.cn/dataset/form.html?dataset=tt100k
- 论文地址：https://cg.cs.tsinghua.edu.cn/traffic-sign/0682.pdf
- 发布时间：2016年
- 大小：10.8G
- 简介：清华大学依据100000张腾讯街景全景图中创建了一个大型交通标志基准。提供了100000张包含30000个交通标志实例的图像。这些图像涵盖了光照度和天气条件的巨大变化
- 特征
  100000张包含30000个交通标志实例的图像，图像分辨率为2048 × 2048，数据来源于腾讯街景数据，该数据集选择了中国5个城市的街景图
  包含交通标志但不包含信号灯
  多样性：覆盖不同天气和光照条件下的数据
  标注：采用多边形标注，分为三种类型的交通标志——警告、禁止和强制性的标志，各种标志的分布比例不均
Bosch Small Traffic Lights
- 发布方：Bosch（博世）
- 下载地址：https://hci.iwr.uni-heidelberg.de/content/bosch-small-traffic-lights-dataset
- 论文地址：https://ieeexplore.ieee.org/document/7989163
- 发布时间：2017年
- 大小：25.24GB
- 简介：用于交通信号灯检测的数据集，包含了各种复杂多样性环境下的交通灯图像，该数据集提供了高分辨率的图像以及较为精确的标注结果
- 特征
  13427 张图像，分辨率为 1280x720 像素， 24000 个带2D框标注的交通信号灯
  数据集分为训练集和测试集
  训练集：5093张图像、10756个带标注的信号灯、15种不同标签、中位信号灯宽度为8.6 像素
  测试集：8334张图像、13486个带标注的信号灯、4个不同的标签（红色、绿色、黄色、关闭）、中位信号灯宽度为8.5像素
  采集环境：旧金山湾区
KUL Belgium Traffic Sign dataset
- 发布方：苏黎世联邦理工大学 (ETH Zürich)
- 下载地址：http://people.ee.ethz.ch/~timofter/traffic_signs/
- 论文地址：https://btsd.ethz.ch/shareddata/publications/Timofte-MVA-2011-preprint.pdf
- 发布时间：2013年
- 大小：50GB
- 简介：用8个高分辨率摄像头安装在一辆面包车上，总计超过3个小时，带有交通标志标注，大约16000张背景图片
- 特征
  145,000 张图片，分辨率为1,628 × 1,236 像素
  标注：9,006张静态图像上的13,444个交通标志标注，距离采集的相机50m以内的范围
  数据集分为三部分：
  训练集：8,851个标注，16,045张不包含交通标志的背景图片
  2D测试集：4,593个标注，583 张背景图
  3D测试集：1,625个标注，121,632张背景图
  提供了一个名为BelgiumTSC的子集，其中有4,591个裁切过的训练样本和2,534个裁切过的测试样本。这些数据对应于原始的BelgiumTS训练和2D测试部分
  采集地点：通过GeoAutomation在比利时，佛兰德斯地区的城市道路中采集
German Traffic Sign
- 发布方：Ruhr-Universität Bochum
- 下载地址：https://sid.erda.dk/public/archives/daaeac0d7ce1152aea9b61d9f1e19370/published-archive.html
- 论文地址：https://www.sciencedirect.com/science/article/pii/S0893608012000457?via%3Dihub
- 发布时间：2011年
- 简介：该数据集是在2011年IJCNN上举行的一个多类别分类竞赛提供的，它提供了不同距离、光照、天气条件、部分遮挡等丰富背景下的交通标志。数据集包括43个类别，不同类别的出现频率不是均衡的。参与者必须对两个测试集进行分类，每个测试集有超过12,500张图像
- 特征
  10个小时视频数据，帧率为25，图片分辨率为1360×1024 ，50000个交通标志
  经过处理后的交通标志的数量为1700，图像分辨率为15x15～222x193像素
  标注：半自动标注，133,000张带标注的交通标志图像，2,416个交通标志
  采集环境：德国不同道路，日间，使用相机进行采集
LISA Traffic Sign
- 发布方：the University of San Diego
- 下载地址：https://www.kaggle.com/mbornoe/lisa-traffic-light-dataset
- 论文地址：https://ieeexplore.ieee.org/document/6335478
- 发布时间：2012年
- 大小：5GB
- 简介：LISA数据集是一个包含美国交通标志的视频数据集。数据集分为两个阶段发布，即发布只有图片的数据集和发布带视频和图片的数据集
- 特征
  43,007 帧和 113,888 个带的交标注通信号灯，同时提供彩色图像和灰度图像
  分辨率为1280 x 960，交通标志分辨率为6x6 ~167x168 像素
  标注：47种交通标志，标注包括2D框和属性包括交通标志类型、位置、尺寸、是否被遮挡、是否位于路侧
  由安装在车辆车顶上的立体摄像机捕捉，该数据集中的图片仅包括左侧摄像机视图
  采集环境：美国加利福尼亚州圣地亚哥，夜间和白天以及不同的光线和天气条件下行驶
LaRA ：交通信号灯视频数据集
- 发布方：法国La Route Automatisée
- 下载地址：http://www.lara.prd.fr/benchmarks/trafficlightsrecognition
- 论文地址：https://ieeexplore.ieee.org/document/5164304
- 发布时间：2013年
- 大小：1.54GB
- 简介：城市道路场景中的交通信号灯数据集，相比于Bosch数据集，该数据集提供的交通灯图片像素比较低
- 特征
  8分钟视频，11179帧数据，帧率为25，分辨率为640×480
  9168个人工2D框标记的交通灯，四类标签（红灯、绿灯、黄灯、模糊），被标注的信号灯大小大于5像素
  采集环境：巴黎交通密集的城市街道，采用车载摄像机拍摄，车辆行驶速度低于50km/h

在这里插入图片描述

Chinese Traffic Sign Database
- 发布方：北京交通大学
- 下载地址：http://www.nlpr.ia.ac.cn/pal/trafficdata/recognition.html
- 特征
  6164张交通标志图像，包含58个标志类别
  数据集分为训练集和测试集。训练集包括4170张图片，而测试集包含1994张图片
  数据集收集于不同天气、光照条件等环境下，并包含部分遮挡等状况
Udacity
- 发布方：Udacity
- 下载地址：https://github.com/udacity/self-driving-car/tree/master/annotations
- 发布时间：2016年
- 简介：Udacity是Google开设的线上教育平台，其中有自动驾驶相关线上培训，它也为其自动驾驶算法比赛专门准备了数据集，对连续视频图片进行了2D标注，主要有汽车、行人、大型车辆等类别。数据集标注不如KITTI严谨
- 特征
  【数据集1】
  9,423帧图像，分辨率1920×1200，超过65000个标签
  大小：1.5GB
  标注：由CuldAI使用机器学习算法和标注员共同进行标注，包含汽车、卡车、行人三种标签
  【数据集2】
  15000帧，分辨率1920×1200
  大小：3.3GB
  包含汽车、卡车、行人、交通灯四种标签
  采集环境：包括在加利福尼亚和邻近城市在白天条件下行驶拍摄的图像
JAAD
- 发布方：约克大学 (York University)
- 下载地址：https://github.com/ykotseruba/JAAD
- 论文地址：https://openaccess.thecvf.com/content_ICCV_2017_workshops/papers/w3/Rasouli_Are_They_Going_ICCV_2017_paper.pdf
- 发布时间：2017年
- 大小：3.1GB
- 简介：JAAD 是用于研究自动驾驶背景下联合注意力的数据集。重点是行人和驾驶员在交叉路口的行为以及影响他们的因素
- 特征
  包含 346 个视频片段，帧率为30，时长5-10秒，82,032帧
  标注：
  2793名行人，378,643个2D标注框
  不同的标签框：行走、站立、过马路、查看交通状况
  行人属性：年龄、性别、服饰、运动方向
  每个视频都带有时间和天气属性
  采集环境：3个车载摄像头采集，北美和东欧各种天气条件下日常城市驾驶的典型场景
NYC3DCars数据
- 发布方：康奈尔大学
- 下载地址：http://nyc3d.cs.cornell.edu/#download
- 论文地址：https://www.cs.cornell.edu/~snavely/publications/papers/nyc3dcars_iccv13.pdf
- 发布时间：2013年
- 简介：NYC3DCars中的每张照片都集合了现实地理空间的数据。集成了诸如OpenStreetMap和NYC OpenData提供的数据库，以便识别道路的地理特征
- 特征
  2000张带标注图片，3787辆被标注车辆
  标注：对车辆进2D标注。包括车辆位置，车辆类型，地理位置，被遮挡的程度和时间
  图像数据背景：图片来自互联网，范围涵盖纽约交通密集地区、不同视角、一天中的不同时间
Elektra (CVC-14)
- 发布方：Universitat Autònoma de Barcelona
- 下载地址：http://adas.cvc.uab.es/elektra/enigma-portfolio/cvc-14-visible-fir-day-night-pedestrian-sequence-dataset/
- 论文地址：Adapting Pedestrian Detection from Synthetic to Far Infrared Images
- 发布时间：2016年
- 大小：3.2GB
- 简介：该数据集利用远红外摄像机的优势，可以同时收集白天和夜晚的图像信息。通过合成图像作为训练数据，大大减少了人工标注工作量
- 特征
  红外数据集分为白天和夜晚数据集：白天包括3110张训练集和2880张测试集，夜晚包含2198张训练集和2883张测试集
  白天包含2000名行人，夜间包含500名行人
  采集环境：巴塞罗那的城市街道，包括白天和夜晚场景
Highway Workzones
- 发布方：卡内基梅隆大学 (Carnegie Mellon University)
- 下载地址：http://www.andrew.cmu.edu/ user/jonghole/workzone/data/
- 论文地址：https://ieeexplore.ieee.org/abstract/document/6876163
- 发布时间：2015年
- 简介：该数据集用于训练识别高速公路行驶区域边界和驾驶环境变化的算法
- 特征
  6个高速公路上行驶视频数据，17000多张图片，共包含800多个交通标志
  标注：9种标签，包括高速公路的起始位置、限速变化、道路施工、车道变换标志和文字提示
  采集环境：春季/冬季，晴天/雨天/多云
TME Motorway Dataset
- 发布方：Czech Technical University in Prague & University of Parma
- 下载地址：http://cmp.felk.cvut.cz/data/motorway/
- 论文地址：http://cmp.felk.cvut.cz/data/motorway/paper/itsc2012.pdf
- 发布时间：2011年
- 简介：数据采集于意大利北部的高速公路，与一般的道路相比，高速公路上没有行人、没有对向来车、道路标志清晰以及道路平缓，同时高速公路上高速行驶的车辆和大车较多也构成了挑战
- 特征
  28个视频片段，总共27分钟视频数据，30000帧，图像分辨率为1024x768，提供的数据带有时间戳
  根据关照情况分为两个子集：daylight/sunset
  标注：半自动2D标注，只对车辆进行标注
  采集环境：意大利北部高速公路，涵盖不同的交通状况、车道数量、光照情况等