适用于算法训练的免费FLIR热数据集
前言
FLIR热数据集于2018年7月发行,帮助开发人员开发并训练卷积神经网络,使汽车行业能够使用FLIR的高性价比热像仪,开发新一代更安全、更高效的ADAS和无人驾驶汽车系统。
为何ADAS要使用FLIR热传感技术?
在ADAS环境中,感知热红外辐射或热量的能力为可见光相机、激光雷达和雷达系统等现有传感器技术提供了独特的互补优势:
凭借在汽车领域15年以上的服务经验,FLIR打造了唯一一款与汽车完美匹配的热传感器,目前已在超过50万辆汽车的驾驶员预警系统中部署。
FLIR热传感器通过提供激光雷达、雷达和可见光相机之外的补充数据集,在完全漆黑、烟雾、恶劣天气和眩光等具有挑战性的天气条件下,可检测并区分行人、骑行者、动物和机动车辆。检测范围是普通前大灯的四倍。
在与可见光数据和从激光雷达和雷达获得的距离扫描数据相结合时,热数据配上机器学习功能,打造更全面的检测和分类系统。
数据集详解
项目 | 注意 |
---|---|
内容 | 同步注释热图像和无注释RGB图像供参考。热像仪中心线相距大约2英寸并且经校准以最大限度地减小视差 |
图像 | 共14,000张图像,其中10,000张来自短视频片段,另外4,000张BONUS图像来自一段140秒视频 |
图像捕获刷新率 | 以30Hz帧率记录。数据集序列以2帧/秒或1帧/秒速率采样。视频注释以30帧/秒记录。 |
帧注释标签总数 | 共计10,228帧,其中9,214帧带边界框。 |
1.人(28,151) | |
2.汽车(46,692) | |
3.自行车(4,457) | |
4.狗(240) | |
5.其它车辆(2,228) | |
视频注释标签总数 | 共计4,224帧,其中4,183帧带边界框。 |
1.人(21,965) | |
2.汽车(14,013) | |
3.自行车(1,205) | |
4.狗(0) | |
5.其它车辆(540) | |
驾驶环境 | 11月至5月期间日间(60%)和夜间(40%)晴到多云天气行驶在加利福尼亚州圣巴巴拉市街道和公路上。 |
捕获热像仪技术参数 | IR Tau2 640×512,13mm f/1.0(HFOV 45°,VFOV 37°)FLIR BlackFly(BFS-U3-51S5C-C)1280×1024,Computar 4-8mm f/140-1,600万像素镜头(视场角设置为匹配Tau2) |
数据集文件格式 | 1.14位TIFF热图像(无AGC) |
2.8位JPEG热图像(应用AGC),图像中未嵌入边界框 | |
3.8位JPEG热图像(应用AGC),图像中嵌入边界框便于查看 | |
4.RGB - 8位JPEG图像 | |
5.注释:JSON(MSCOCO格式) | |
示例结果 | 通过利用本数据集微调RefineDetect512获得的mAP得分为0.587(50% IoU),并使用保持验证集进行测试。 |
标记注释:
注解者被要求使边界框尽可能紧。省略物体的小部分(如肢端)的紧边界框比宽边界框更受欢迎。个人用品不包括在人身上的包裹盒里。当发生遮挡时,只标注对象的非遮挡部分。对于人和狗来说,头和肩膀比身体的其他部位更容易被包含在这个包里。当遮挡只允许部分肢体或物体的其他次要部分可见时,它们没有被标注。车轮是自行车类别的重要组成部分。通常被车手遮挡的自行车部件,如车把,并没有包含在这个包裹盒中。骑自行车的人和自行车分开标注。当一个对象被一个遮挡分割时,对对象的两个可见部分给出两个单独的注释。
仅为热图像创建注释。热成像相机和RGB相机在车辆上的位置不相同,因此具有不同的观察几何形状,因此热注释不能代表物体在RGB图像中的位置。你无法使用该数据集下的RGB图像进行训练,因为没有Ground True
标签。
文件格式:
- train(8862张图像)序号:1-8862
Annotated_thermal_8_bit
: 该文件夹包含经过处理的8位热数据,以便将来自ground true
文件夹的注释边界框覆盖在这些数据上。thermal annotations.json
: 这些ground true
标签通常以MSCOCO注释风格格式化。thermal_8_bit
8位,AGC应用,.jpeg格式的图像,否则与thermal_16_bit文件夹中的图像相同。RGB
: 8位RGB(三通道)图像。注意,Training中的499张图像、Validation中的109张图像和Video中的29张图像没有RGB对应图像。图像分辨率一般为1600 X 1800,也有480 X 720、1536 X 2048、1024 X 1280等不同分辨率的图像。- val(1366张图像)序号:8863-10228
- video(4224图像)序号:1-4224
数据集下载
官网链接:https://www.flir.com/oem/adas/adas-dataset-form/
链接:https://link.zhihu.com/?target=https%3A//pan.baidu.com/s/1yJ5LDpvuj4M27MLmD9OsJw
提取码: 9il7
目标检测网络
目前,看到大家的训练多数是在yolov3, yolov4, yolov5中,Yolo系列我也进行了训练在yolov5上,整个调试过程还较为简单,当然,如果大家需要的话,我也可以写一个新的博客来为大家讲解yolov5上的训练过程。需要的话可以评论区见=_=||。
先暂时附一张训练结果图:
图片有点小,左下角是val-loss,能看到后期有点过拟合了,训练到150epoch其实就差不多了,检测结果也可以露出两张供大家参考!
也强调一下,对于这样的检测结果,确实是让我出乎意料,能够有效的在夜间行车,检测效果相比RG图像有很不错的提升,从结果中也可以看出网络是深入地进行了单通道图像的学习,也将我的顾虑给打消掉了。
Faster RCNN训练FLIR数据集
YOLOV5 训练FLIR数据集
写的比较简单,重点内容写了,一些内容可以参考Faster RCNN