点击蓝字
关注我们
关注并星标
从此不迷路
计算机视觉研究院
公众号ID｜计算机视觉研究院
学习群｜扫码在主页获取加入方式
论文地址：https://mdpi.longhoe.net/
计算机视觉研究院专栏
Column of Computer Vision Institute
YOLO（You Look Only Once）是一种基于深度神经网络的算法，具有实时对象检测功能。这种最先进的技术被广泛使用，主要是因为它的速度和精度。
YOLO自提出概念以来，已被应用于交通标志、行人、红绿灯、车辆等的检测和识别。
目的：
本研究的目标是从应用、数据集、指标、硬件和挑战五个相关方面系统地分析YOLO目标检测算法在交通标志检测和识别系统中的应用。
方法：
本研究对2016-2022年发表的使用YOLO的交通标志检测和识别研究进行了系统的文献综述。
结果：
检索发现115项与本研究目标相关的初步研究。在对这些调查进行分析之后，获得了以下相关结果。YOLO在该领域最常见的应用是车辆安全和智能自动驾驶汽车。用于训练、测试和验证基于YOLO的系统的大多数标志数据集都是公开的，重点是来自德国和中国的数据集。人们还发现，大多数工作都通过使用不同版本的YOLO，为交通标志检测和识别系统提供了复杂的检测、分类和处理速度指标。此外，最受欢迎的桌面数据处理硬件是Nvidia RTX 2080和Titan Tesla V100，在嵌入式或移动GPU平台的情况下，还有Jetson Xavier NX。最后，确定了这些系统在实际道路条件下运行时面临的七个相关挑战。考虑到这一点，对研究进行了重新分类，以应对每种情况下的这些挑战。
结论：
该SLR是应用YOLO检测和识别交通标志的技术开发领域中最相关和最新的工作。此外，还提供了关于未来可用于改进该领域的工作的见解。
PART/1
背景
道路交通事故（Road Traffic Accidents,RTA）是全球范围内造成损害、伤害或死亡的主要原因之一。这些事故是发生在道路和高速公路上的涉及车辆的事件。它们可归因于各种因素，包括人为错误、环境条件、技术故障或这些因素的组合。此外，世界卫生组织（世界卫生组织）指出，2018年交通事故引发的疾病在世界上排名第八，占全球死亡人数的2.5%。根据2015年的数据，世界卫生组织还估计，每年可能有125万人死亡。2019年，美国约有1215万辆汽车发生车祸。
预计未来几年，该国每百万居民的道路事故数量将下降，到2025年将略高于7100起。在欧洲，介于2010年和2020年，道路死亡人数下降了36%。与2019年22800人死亡相比，2020年在欧盟道路上丧生的人数减少了4000人。据Yu等人介绍，许多研究都集中在交通安全方面，包括交通事故分析、车辆碰撞检测、碰撞风险预警和碰撞预防。此外，已经提出了几种专门使用计算机视觉（CV）和深度学习（DL）进行交通标志检测和识别的智能系统。
在这种情况下，最流行的技术之一是YOLO目标检测算法。本文提出了一种基于YOLO目标检测算法的交通标志检测与识别SLR。在这种情况下，交通标志可以作为视觉指南，传达有关道路状况、潜在危险和其他安全道路导航基本细节的信息。同时，YOLO是一种基于卷积神经网络的模型，专门用于目标检测。之所以选择该算法，是因为与其他基于DL的方法相比，它在GPU上的处理速度、最关键指标的高性能以及简单性方面具有竞争力。上图显示了这类系统的全局方案。用相机捕捉的输入图像被馈送到YOLO对象检测算法，并通过深度卷积神经网络检测对象，并在适当的时候输出隔离的交通标志。随后，它向驾驶员（或自动驾驶系统）提供相关信息，使驾驶更加安全、高效和舒适。
PART/2
数据和算法
交通标志
交通标志是放置在公共道路上的视觉提示和符号，用于警告、告知、命令或规范道路使用者的行为，尤其是在人口稠密和繁忙的城市地区。它们包含一种简单的视觉符号语言，以便驾驶员能够解读并立即从道路上获得信息，以确保安全驾驶。交通标志通常由在夜间和弱光条件下可见的反射材料制成。反光设计不仅通过提高夜间能见度来提高安全性，还确保驾驶员能够轻松辨别和理解预期信息。每个标志都传达着独特的信息，并通过形状、颜色和大小进行区分，与特定的道路指令保持一致，为驾驶员提供准确有效的沟通，有助于营造一个整体更安全、监管良好的交通环境。在众多特征中，有两个突出，即形状和颜色，交通标志可分为三类：禁止性、预防性和信息性。禁止（或监管）标志告知驾驶员必须遵守的限制；它们通常是圆形的，颜色是红色的。预防（或警告）标志是道路上可能存在危险的警告信号，通常为黄色菱形。信息性（或指示性）标志旨在帮助驾驶员完成导航任务。通常，这些标志是矩形的，颜色为绿色或蓝色，为路线引导提供基本信息。
交通标志的视觉外观因国家而异，这对分类系统取得成功构成了挑战。显然，这是全球交通标志检测和识别系统发展的一个缺点，并将其发展限制在某些类型的标志或国家。其他具有挑战性的条件包括照明变化、遮挡、视角、天气条件、老化、模糊和人为因素。在这样的极端条件下，所有的方法都无法有效地完成检测任务。
YOLO Object Detection Algorithm
YOLO是一种最先进的基于DL的目标检测技术，侧重于实时和高精度应用。在YOLO中，对象检测被视为一个回归问题，其中通过回归直接生成候选图像及其类别和置信指数。通过设置置信度的阈值和非最大值抑制技术，最终确定检测结果。YOLO的主要优势在于其实时图像处理能力，非常适合自动驾驶汽车和高级驾驶辅助系统（ADAS）等应用。此外，YOLO在有限的训练数据下实现了最先进的精度，超过了其他方法。此外，其易于实现和用户友好性有助于其在计算机视觉（CV）领域的普及。相比之下，一些作者指出了一些局限性和障碍。一个重要的限制是YOLO很难检测到小物体。该算法将图像划分为网格单元，并检测这些单元中的对象。小于这些预定义区域的对象可能会被算法遗漏。另一个问题是YOLO没有考虑图像的语义，忽略了视觉数据的含义。YOLO的某些版本是使用学术数据集进行预训练的，不考虑可能模糊、包含遮挡物体且通常分辨率较低的真实数据。第一个模型由Redmon等人[You only look once: Unified, real-time object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27–30 June 2016; pp. 779–788]、Redmon和Farhadi[YOLO9000: Better, faster, stronger. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21–26 July 2017; pp. 7263–7271]实现，从2016年的第一个版本开始，使用称为DarkNet的卷积神经网络；随后是2017年使用Darknet-19的第二个YOLO9000；2018年，YOLOv3使用Darknet-53结束了这场传奇。第四个版本对应于Bochkovskiy等人于2020年4月发布，也使用CSPDaknet-53。第五个版本于2020年5月发布，由Jocher和Ultralytics公司发布；该变体使用CSPNet作为神经网络。YOLOv5有不同的版本，YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。值得一提的是，本研究只考虑了YOLO目标检测算法的五个基本版本。其他变体已经被压缩到原始模型中，例如YOLO tiny。
Databases of Digital Library
在SLR的上下文中，数据库是可以使用特定关键字搜索的已发表研究文章的集合。这些数据库通常用于确定将纳入审查的相关研究。本研究选择的数据库为IEEE Xplore、MDPI、Plos、Science Direct、Wiley、Sage、Hindawi出版集团、Taylor&Francis和Springer Nature，所有这些数据库都包含在Web of Science（WoS）和/或Scopus中索引的文章。WoS是一个强大的研究数据库和引文索引，提供了一个广泛使用的平台，可以访问大量的学术文章、会议记录和各种研究材料。相反，爱思唯尔公司生产的Scopus是一个具有嵌入式全文链接的抽象索引数据库。此外，IEEE Xplore、MDPI、Plos、Science Direct、Wiley、Sage、Hindawi出版集团、Taylor&Francis和Springer Nature都是著名的数字图书馆。这些平台提供了对广泛的科学和技术内容的访问，包括电气工程、计算机科学、电子和其他相关领域等学科。
Data Synthesis
SLR中的数据合成步骤是收集和解释从所选研究中提取的相关数据，以回答SLR的研究问题的过程。首先，我们对现实世界中的YOLO应用程序进行了分类，提供了部署领域的清晰概述。接下来，我们对引用的数据集进行汇总和编目，注意它们的具体特征，并提供数据源的全面视图。综合了各种研究中使用的指标，揭示了普遍的评估方法。此外，还分析了硬件配置，揭示了主流趋势并支持了技术前景。此外，对YOLO技术的挑战进行了分类，揭示了其局限性和需要改进的领域。这一合成过程对于从广泛的文献中提取关键发现和趋势至关重要，从而对YOLO技术及其现实世界的应用提供了细致的理解。
PART/3
Results Based on RQs
RQ1【应用】：YOLO在交通标志检测和识别中的主要应用是什么？
搜索揭示了YOLO的三个主要应用：道路安全、ADAS和自动驾驶道路安全：道路安全是指用于降低碰撞可能性和保护道路使用者的努力。这包括旨在鼓励安全驾驶实践、改善道路基础设施、监测道路状况、识别道路危险以及改善交通管理和车辆安全的不同努力和立法。例如，YOLO可以在交通摄像头中实现，以识别和评估拥堵、交通流量和事故，这可以影响决策，从而改善交通管理并降低事故概率。此外，YOLO可以与智能交通系统集成，以监控行人和骑自行车的人的行动，并提高非机动道路使用者的道路安全。ADAS：高级驾驶辅助系统（ADAS）是旨在增强道路安全和驾驶体验的技术。它们利用传感器、摄像头和高级算法的组合来帮助驾驶员完成各种驾驶任务。ADAS可以利用YOLO来检测和识别实时视频流中的对象。在这种情况下，YOLO可用于检测和识别交通标志。自动驾驶：自动驾驶在很大程度上依赖于CV技术来感知和评估驾驶环境。CV系统使用摄像头和算法向自动驾驶汽车提供有关其周围环境的相关信息，如其他汽车、行人和交通网络的位置和行为。这些数据用于决策、车辆控制和安全道路导航。为了开发自动驾驶系统，车辆通常应该配备大量传感器和通信系统。
RQ2[数据集]：哪些交通标志数据集用于训练、验证和测试这些系统？
交通标志数据集是包含交通标志及其注释的图像的集合。它们用于训练、验证和测试不同的交通标志检测和识别系统。研究人员和从业者已经创建并使用了许多交通标志数据集。其中一些是公开的，而另一些是私人的，即仅限于科学界。
The German Traffic Sign Detection Benchmark (GTSDB) and the German Traffic Sign Recognition Benchmark (GTSRB)
Tsinghua Tencent 100K (TT100K)
Chinese Traffic Sign Dataset (CTSDB y CCTSDB)
Belgium Traffic Sign Detection Benchmark and Belgium Traffic Sign Classification Benchmark (BTSDB y BTCDB)
Malaysian Traffic Sign Dataset (MTSD)
Korea Traffic Sign Dataset (KTSD)
Berkley Deep Drive (BDD100K)
Thai (Thailand) Traffic Sign Dataset (TTSD)
Swedish Traffic Sign Dataset (STSD)
DFG Traffic Sign Dataset (DFG)
Taiwan Traffic Sign Dataset
Taiwan Traffic Sign (TWSintetic)
Belgium Traffic Signs (KUL):
Chinese Traffic Sign Detection Benchmark (CSUST)
Foggy Road Image Database (FRIDA)
Foggy ROad Sign Images (FROSI)
MarcTR
Turkey Traffic Sign Dataset
Vietnamese Traffic Sign Dataset
Croatia Traffic Sign Dataset
Mexican Traffic Sign Dataset
WHUTCTSD
Bangladesh Road Sign 2021 (BDRS2021)
New Zealand Traffic Sign 3K (NZ-TS3K)
Mapillary Traffic Sign Dataset (MapiTSD)
Specialized Research Datasets
Unknown or General Databases (Unknown)
RQ3【度量】：在使用YOLO进行交通标志检测和识别的背景下，使用哪些度量来衡量对象检测的质量？
各种性能指标经常用于测量交通标志识别系统的功效。我们提供了所考虑的文章中最常用的度量的摘要。在评估交通标志检测系统和其他物体识别应用程序的计算效率和实时性能时，每秒帧数（FPS）是一种常用的指标。
上公式中详细描述的FPS测量系统每秒可以处理的视频帧数，为系统对不断变化的交通状况的响应提供了有价值的见解。实现高FPS对于在现实世界中的部署至关重要，因为它可以确保在自动驾驶汽车和交通管理系统等动态环境中及时准确地做出响应。研究人员通过在代表性数据集或实际视频流上执行系统来评估FPS，同时考虑算法复杂性、硬件配置和帧大小等因素。FPS与mAP、精度和召回率等其他指标相结合，有助于全面评估系统的整体性能，同时考虑准确性和速度，这是实际应用的关键考虑因素。
Comparing Metrics among Different Versions of YOLO
讨论
本研究提出了一个关于在交通标志检测和识别领域内利用YOLO技术进行物体检测的SLR。这篇综述详细介绍了与该技术相关的潜在应用、数据集、基本指标、硬件考虑因素和挑战。本节分析了SLR的主要发现和意义。FPS的测量具有重要意义，尤其是在动态环境中，快速检测在提醒驾驶员注意潜在危险或违法行为方面发挥着至关重要的作用。在实时应用中，必须在准确性和速度之间取得平衡。
数据集的可访问性和口径在目标检测算法的训练和评估中起着至关重要的作用。这篇综述阐述了数据规范化过程中遇到的困难，不同作者之间数据质量的差异，以及某些数据集可用的信息量不足。TTK1000中国数据集以其对交通标志、类别和真实驾驶场景的全面表示而闻名。美国BDD100K数据集提供了交通标志的全面汇编，包括各种照明情况。然而，对这些数据集的分析需要大量的计算资源。从实用的角度来看，德国的数据库虽然规模适中，但被广泛使用。这些数据集提供了各种各样的交通标志和类别，从而增强了它们用于实验目的的适用性。在硬件考虑的领域中，根本的重要性在于使用高效的算法，这些算法在内存容量有限的情况下表现出较低的能耗和鲁棒性。建议尽量减少神经网络内部层数的冗余。有效散热对于降低过热风险至关重要，尤其是在移动图形处理单元（GPU）系统的情况下。值得一提的是，NVIDIA目前在移动GPU系统市场上占据主导地位。在审视这些挑战时，这篇综述强调了对标志退化进行研究的必要性，标志退化是交通标志检测和识别领域中一个关键但经常被忽视的因素。如果不考虑损坏标志的存在，可能会导致错误检测的产生，并可能在道路上发生危险情况。解决这一困难不仅提高了算法的弹性，而且有助于实现开发更可靠的交通标志识别系统的更广泛目标。强调的另一个显著困难是缺乏专门研究交通标志检测和识别方面的地理差异的研究。地理差异会带来独特的复杂性，包括不同的交通标志设计、语言差异和地方法规。如果不考虑这些细微差别，可能会严重限制交通标志检测系统在不同地区的有效性和适用性。这一观察结果突出表明，迫切需要在这一领域开展有针对性的研究工作。通过应对这一挑战，我们不仅提高了检测系统的稳健性和适应性，而且有助于在全球范围内建立更安全、更可靠的运输网络。最后，SLR强调YOLO技术在交通相关环境中的广泛应用。它通过提供驾驶过程中潜在问题的早期预警，成为预防交通事故的关键工具。此外，它还可以与GPS系统集成，用于基础设施维护，从而实时评估路标质量。此外，YOLO技术在自动驾驶汽车的发展中发挥着基础性作用。
END
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入！
ABOUT
计算机视觉研究院
计算机视觉研究院主要涉及深度学习领域，主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架，提供论文一键下载，并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！
往期推荐
🔗
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
