上海交大 CDNet：基于YOLOv5改进的 人行道 斑马线和汽车过线行为检测

作者用了 Yolov5版本：V6.1也实现了一版：

公开了数据集，有比较小的模型：

GitHub - WangRongsheng/CDNet-yolov5: 《CDNet：一个基于YOLOv5的在Jetson Nano上实时、鲁棒的斑马线检测网络》论文的原生（ultralytics）yolov5训练、推理baseline仓库

有yolov5s yolov5n 模型

给行车记录仪用的，检测斑马线和过线行为检测：

下面第二模型，速度快并且精度高，模型42M

Model	Detect Size	Speed (FPS)	F1 Score (%)	Pytorch Model	TensorRT Engine
YOLOv5m (baseline)	288x192	20.0	81.34	Download passwd: duap	Download
SE-YOLOv5m+NST+ROI+SSVM (CDNet)	288X192	33.1	94.72	Download passwd: 1cpp	Download

测试笔记：

post.py中，图片和配置文件路径在data下面，不是在settings里面，没有settings目录

	def init_rect(self):
		rect = cv2.imread("data/rect.jpg")

1060显卡是60ms左右。

CDNet: A Real-Time and Robust Crosswalk Detection Network on Jetson Nano Based on YOLOv5

CDNet: 一个基于YOLOv5的在Jetson Nano上实时、鲁棒的斑马线检测网络

作者：Zheng-De Zhang, Meng-Lu Tan, Zhi-Cai Lan, Hai-Chun Liu, Ling Pei, Wen-Xian Yu

时间：Feb, 2022

期刊：Neural Computing & Applications, IF 5.6

一个神经网络在具体场景（斑马线检测）的应用，改进YOLOv5，提出多项tricks，数据集和复现代码开源！

摘要：

图1 图形摘要

在复杂场景和有限计算能力下实现实时、鲁棒的斑马线（人行横道）检测是当前智能交通管理系统（ITMS）的重要难点之一。有限的边缘计算能力和多云、晴天、雨天、雾天和夜间等真实复杂的场景同时对这项任务提出了挑战。本研究提出基于改进YOLOv5的人行横道检测网络（CDNet），实现车载摄像头视觉下快速准确的人行横道检测，并在Jetson nano设备上实现实时检测。强大的卷积神经网络特征提取器用于处理复杂环境，网络中嵌入了squeeze-and-excitation（SE）注意力机制模块，使用负样本训练（NST）方法提高准确率，利用感兴趣区域（ROI）算法进一步提高检测速度，提出了一种新的滑动感受野短时向量记忆（SSVM）算法来提高车辆交叉行为检测精度，使用合成雾增强算法允许模型适应有雾的场景。最后，在 Jetson nano 上以 33.1 FPS 的检测速度，我们在上述复杂场景中获得了 94.83% 的平均 F1 分数。对于晴天和阴天等更好的天气条件，F1 分数超过 98%。该工作为人工神经网络算法优化方法在边缘计算设备上的具体应用提供了参考，发布的模型为智能交通管理系统提供了算法支持。

贡献：

+ 注意力机制网络改进网络，提升精度，略微降低速度：SENet (Squeeze-and-Excitation Network)

图2 改进，SENet嵌入到CSP中形成SE-CSP

+ 负样本训练，提升精度，速度不变: NST (Negative Samples Training)

图3 负样本训练

+ 感兴趣区域，提升速度，精度下降：ROI (Region Of Interest)

图4 ROI

+ 滑动感受野短时向量记忆算法，迁移斑马线检测任务到汽车过线行为检测任务，提升精度，速度不变：SSVM (Slide receptive field Short-term Vectors Memory)

图5 SSVM

+ 合成雾增强算法，增强数据集，适应雾天，提升精度，速度不变：SFA (Synthetic Fog Augment)

图6 SFA

+ 斑马数据集：标注好的，车载摄像头视角下的，共计6868张图像。

+ 复现代码：见github项目主页

结果

CDNet最终在Jetson nano上实现了33.1FPS实时检测，多云、晴天、雨天、雾天和夜间多个场景平均检测F1分数94.72%。

与原生YOLOv5相比，检测尺寸为640时，CDNet 在 Jetson nano 上提高了5.13%的F1分数和10.7FPS的速度， 检测尺寸为288时，提升为13.38%的F1分数和13.1FPS。

相关链接

数据集、复现代码：https://github.com/zhangzhengde0225/CDNet

视频样例：https://www.bilibili.com/video/BV1qf4y1B7BA

阅读全文：https://rdcu.be/cHuc8

下载全文：https://doi.org/10.1007/s00521-022-07007-9