信号灯标志牌公开数据集整理及思考

信号灯标志牌公开数据集整理及思考

1.1 信号灯类别概览

1.2 信号灯公开数据集

数据集	分辨率	数量：帧、框	类别	备注
BSTLD	1280*720	Train:5093/10756 val:8334/13486	train:15 val:4	区分形状；区分是否遮挡以及是否关闭
DriveU	2048*1024	n/232039	344	丰富的标签属性
LISA	1280*960	43007/113888	go、stop	frameAnnotationsBOX frameAnnotationsBULB
LARA	640*480	11179/9168	G,O,R,A	含有Ambiguous的定义
WPI	1920*1080	train:12G val:3G	GAL,GAR,GAF ,GC,RAL,RC	有分类样本； Frames_GT_wHolder Frames_GT_Lights

1. Bosch Small Traffic Lights Dataset

场景较为单一，适合实验性验证：

数据下载地址：https://hci.iwr.uni-heidelberg.de/node/6132

数据处理工具：https://github.com/bosch-ros-pkg/bstld

数据描述

训练集：

•5093图片

•大约每2秒钟标注一次

•10756带标注的交通灯

•红绿灯平局宽度：8.6像素

•15种不同的标签（R,R_L,R_R,Y,G,G_L,

G_R (遮挡与否*2),off）

•170个灯被部分遮挡

测试集：

•连续8334张图像

•大约以15 fps进行注释

•13486带标注的交通灯

•红绿灯平均宽度：8.5像素

•4个标签（红色，黄色，绿色，关闭）

•2088灯被部分遮挡

场景覆盖情况：

•市中心繁忙的街道场景

•交通密度变化的郊区多车道

•密集的走走停停的交通

•道路工程

•光照/曝光变化很大

•乌云密布的天空，有小雨

•忽隐忽现的交通信号灯

•多个可见交通灯

•可能与交通信号灯混淆的图像部分（例如，大型圆形尾灯）

2. DriveU Traffic Light Dataset

数据极为丰富：

数据下载地址：https://www.uni-ulm.de/en/in/driveu/projects/driveu-traffic-light-dataset/

数据处理工具：https://github.com/julimueller/dtld_parsing

数据描述

横向各维度对比：

样本分布特点：

标签属性：

•Viewpoint orientation
•Relevancy
•Installation orientation
•Number of light units
•State
•Pictogram

3. LaRaTraffic Lights Recognition

分辨率低：

数据下载：http://www.lara.prd.fr/benchmarks/trafficlightsrecognition

数据描述

基本信息：

•11 179 frames (8min 49sec, @25FPS)
640×480 (RGB, 8bits)
Paris (France)

•9168 hand-labeled traffic lights

•标注的最小尺寸：5个像素

标签信息

•3 381 “green” (called 'go’),

•58 “orange” (called 'warning’),

•5 280 “red” (called 'stop’),

•449 “ambiguous” (cf. below).

Ambiguous的定义

•灯光反射严重；

•运动模糊导致变形；

•过于模糊；

•不面向摄像头；

4. LISA Traffic Light Dataset

图像过暗，可用性不高：

数据下载：https://www.kaggle.com/mbornoe/lisa-traffic-light-dataset/data

数据描述

基本信息：

•20000frames (23min 425sec)
1280×960 (RGB, 8bits)
California (USA)

•标注的最小尺寸：4个像素

标签信息：

•frameAnnotationsBOX：由灯部分生成的框。

•frameAnnotationsBULB：只标注亮着的灯。

5. WPI Traffic Light Dataset

成像质量较为纯净：

数据下载：http://computing.wpi.edu/dataset.html

数据描述

训练数据：

1. 分类样本（sample）：

•从Frames_GT_wHolder中的帧中提取出来的灯的区域。可用于训练分类器。

2. 检测样本：

•Frames_GT_wHolder：包含灯的框和状态标签和外壳框和状态标签。

•Frames_GT_Lights：只包含灯的框和状态标签，且序列8,9,10没有交通信号灯。

测试数据：

•在冬季，测试数据是在美国马萨诸塞州伍斯特市收集的。

•测试：带有标签的整个框架。这些序列被标记为所有类型的单个交通信号灯。序列18、19、20、21、22、23没有交通信号灯。

2.1 交通标志牌概览

2.2 交通标志牌公开数据集

数据集	分辨率	数量：帧/框	类别	备注
Tsinghua-Tencent100k	2048*2048	9000/…	>130	包含分割和检测标注信息
CCTSDB	720以上	16000/40000	指示、禁止、警告	种类的细分标签没有公开
GTSDB	1360*800	900/…	43	包含检测和分类样本

1. Tsinghua-Tencent100k

全景图中的分割区域，分辨率高：

数据下载：https://cg.cs.tsinghua.edu.cn/traffic-sign/

数据描述

基本信息：

•9000frames
2048×2048 (RGB, 8bits)
腾讯街景全景图

标签信息：

•如下图，*代表有具体的子类

方案描述

多任务网络：全链接神经网络把交通指示牌的定位（bounding box），分类（label）分割（pixel）同时traning，把他们放在同一个网络结构中。


注：此方案已经复现，效果很好，但是模型大小和速度对于移动端的部署不是很友好，但是多任务网络的思想很值得参考，如果需要交流的私信我就行。

2. CSUST Chinese Traffic Sign Detection

场景复杂多变：

项目地址：https://blog.csdn.net/dong_ma/article/details/84339007

论文地址：https://doi.org/10.3390/a10040127

Github：https://github.com/csust7zhangjm/CCTSDB

链接为：https://pan.baidu.com/s/1Swb48BppUJtuE3QeCcd4Yw

提取码：rv4s

数据描述

•CSUST Chinese Traffic Sign Detection Benchmark 中国交通数据集由长沙理工大学综合交通运输大数据智能处理湖南省重点实验室张建明老师团队制作完成。

•其中包含图片近16000张，交通标志近40000个，在GroundTruth文件中标注说明，如今将全部公开,先上传部分。

•到目前为止，已经上传数据16000张，groundtruth也已经上传。 声明：目前的标注数据只有三大类：指示标志、禁止标志、警告标志。

•具体的细分类标准数据集，由于还在制作，暂时将不会公布。

3. GTSDB

图像数据转换成bmp后会产生过曝现象：

数据下载：http://benchmark.ini.rub.de/?section=gtsrb&subsection=dataset

数据描述

1. 检测类别：

基本信息：

•900frames
1360×800 (RGB, 8bits)
德国

标签信息**😗*

•43类，如下图，与国内标志不相同

2. 分类类别：

提供的分类样本中有以下特点：

图像在实际交通标志周围（至少5个像素）包含10％的边界。

3 思考

1. 以上数据集列举出几个具有代表性或者是在功能落地有使用和指导价值的公开数据集，如有遗漏，大家一起完善。

2. 数据集下载：有的数据需要访问外网，或者下载速度超慢。如有需求，请私信，看看以某种方式共享。

3. 信号灯指示牌识别方案的落地：希望大家能提供不同的思想，实现轮子的共用。