基于yolov5的雾天行人车辆目标检测

最新推荐文章于 2024-02-26 14:07:26 发布
最新推荐文章于 2024-02-26 14:07:26 发布
阅读量3.8k 收藏 54
点赞数 2
文章标签： 计算机视觉 目标检测 YOLO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_67578746/article/details/133804543
版权

1. 项目说明

随着科技的发展，图像识别与目标检测技术在自动驾驶、智能交通等领域得到了广泛应用。然而，在复杂的环境条件下，如雾天，现有的目标检测技术可能会面临识别率下降的问题。为此，我们提出了基于Yolov5的雾天行人车辆目标检测项目，以提高在复杂环境下的检测准确性。YOLOv5是近年来最先进的目标检测算法之一，其结合了高速和准确性，适用于实时场景。这里我们选用的 RTTS 数据集为例，该项目的挑战在于：

  1. 目标复杂

    • 环境复杂，要适应各种能见度条件下的白天、阴天、雾天、霾天等气候环境；
    • 场景复杂，城市道路、乡村、高速公路等场景差异性较大；

  2. 样本不均衡

    • 类别多，包含：行人、骑车人、汽车、巴士、摩托车、自行车；
    • 每张图像中包含多类目标，以及各种程度的遮挡与截断；

图 1 - RTTS 数据集示例

2. 环境说明

本示例是基于yolov5网络，在 RTTS 数据集进行了训练。

  • PaddlePaddle 2.2

  • OS 64位操作系统

  • 深度学习框架：PyTorch 1.7或更高版本，用于搭建和训练Yolov5模型。

  • Python 3(3.6/3.7/3.8/3.9)，64位版本

  • pip/pip3(9.0.1+)，64位版本

  • CUDA >= 10.1

  • cuDNN >= 7.6

3. 数据准备

3.1 数据介绍

RTTS：雾天行人车辆目标检测_数据集-飞桨AI Studio星河社区

RTTS 数据集源自 RESIDE数据集（RESIDE-雾天数据集是一个公开的数据集，用于雾天图像处理和计算机视觉的相关研究），RTTS数据集包含 4322 张真实雾天图片，作为项目训练集。另外有 100 张真实场景图片作为验证集。图像数量分布如下表所示：

数据集trainval
图像数量4322100

数据预处理：对收集的图像数据进行清理和预处理，包括图像增强（如对比度增强、图像去雾）等；

3.2 数据结构

文件的组织结构如下（参考COCO）：

YOLO格式标注数据文件如下：

VOC格式标注数据文件如下：

4. 模型选择

Joseph Redmon等人在2015年提出YOLO（You Only Look Once，YOLO）算法，通常也被称为YOLOv1；2016年，他们对算法进行改进，又提出YOLOv2版本；2018年发展出YOLOv3版本；2020年发布YOLOv5版本，目前v5也是这几个版本中使用最广泛的一版。

  1. Yolov5是一种基于深度学习的目标检测算法，相比传统的两阶段目标检测方法，Yolov5采用单阶段的检测流程，速度上有较大优势[2]。在雾天环境下，由于能见度较低，需要处理的图像数量较多，因此使用速度较快的算法可以提高检测效率。

  2. Yolov5将输入图像划分为一个固定大小的网格，并在每个网格上预测目标的边界框和类别。这种网格划分的方式使得Yolov5对于小目标的检测效果较好，能够有效地检测到雾天环境下的人和车辆目标。

  3. Yolov5可以在多个尺度上进行预测，结合不同尺度的特征信息，提高检测精度。在雾天环境下，由于光线衰减和散射的影响，图像中的目标可能出现模糊或者噪声，使用多尺度的预测可以增强对目标的区分能力。

综上所述，Yolov5作为雾天人车目标检测的算法，具有速度快、对小目标检测效果好、能够利用多尺度信息等优点，能够在雾天环境下有效地检测人和车辆目标。

5. 模型训练

默认 8 卡配置，如在 AI Studio 使用单卡训练则需要修改train.sh文件。具体修改如下：

export CUDA_VISIBLE_DEVICES=0
python -m paddle.distributed.launch --gpus 0 tools/train.py -c configs-hazedet/ppyoloe/ppyoloe_crn_m_100e_hazedet.yml --eval

In [7]

! bash train.sh

6. 模型评估

基于 PaddleDetection 库，我们提供了多种预测方式，可自行选择。

模型位置: output/ppyoloe_crn_m_100e_hazedet

In [4]

! bash eval.sh

7. 模型优化

本小节侧重展示在模型迭代过程中优化精度的思路：

  1. Baseline：主干网络加载ImageNet预训练的CSPResNetb_m模型参数，训练100epoch后进行评估：
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.260
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.499
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.237
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.180
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.319
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.447
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.208
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.413
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.428
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.318
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.550
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.574
  1. COCO预训练模型：加载COCO预训练的ppyoloe_crn_m模型模型，并在RTTS数据集进行finetune训练。最终检测mAP获得14.7%的提升。
Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.407
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.672
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.416
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.283
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.489
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.716
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.282
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.492
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.510
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.390
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.618
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.769
  1. 离线数据增强；利用去雾算法对训练集进行离线的数据增广，常见去雾方法如MSBDN、Trident-Dehazing network、FFA-net等模型。

这里我们选择了MSBDN模型，离线对训练集进行了去雾增强，并与原始训练集共同进行训练，目的是通过生成不同雾浓度的图片来丰富训练集，同时通过降低浓雾样本的识别难度，加速模型收敛。最终检测mAP获得0.6%的提升。

11583  Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.413
11584  Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.672
11585  Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.415
11586  Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.277
11587  Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.519
11588  Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.726
11589  Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.282
11590  Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.499
11591  Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.517
11592  Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.387
11593  Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.641
11594  Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.780

8. 推理可视化

参考 infer.sh，最终输出文件在 output 目录。

In [9]

! python tools/infer.py \
  -c configs-hazedet/ppyoloe/ppyoloe_crn_m_100e_hazedet.yml \
  --infer_img=dataset/hazedet/val/HR/59.png \
	-o weights=output/ppyoloe_crn_m_100e_hazedet/best_model

检测前

检测前

图 2 - 图片检测前后对比（取自 output 目录）

默认执行100次epoch迭代计算，结果详情如下：

LABEL可视化：

F1值曲线：

PR曲线：

batch计算实例：

可视化推理样例如下：

9. 模型导出

导出推理模型

PaddlePaddle框架保存的权重文件分为两种：支持前向推理和反向梯度的训练模型 和 只支持前向推理的推理模型。二者的区别是推理模型针对推理速度和显存做了优化，裁剪了一些只在训练过程中才需要的tensor，降低显存占用，并进行了一些类似层融合，kernel选择的速度优化。因此可执行如下命令导出推理模型。

默认导出到 inference_model 目录。

In [10]

# 模型导出
! bash export_model.sh

10. 模型部署

使用飞桨原生推理库paddle-inference，用于服务端模型部署

总体上分为三步：

  1. 创建PaddlePredictor，设置所导出的模型路径
  2. 创建输入用的 PaddleTensor，传入到 PaddlePredictor 中
  3. 获取输出的 PaddleTensor ，将结果取出
#include "paddle_inference_api.h"
 
// 创建一个 config，并修改相关设置
paddle::NativeConfig config;
config.model_dir = "xxx";
config.use_gpu = false;
// 创建一个原生的 PaddlePredictor
auto predictor =
      paddle::CreatePaddlePredictor<paddle::NativeConfig>(config);
// 创建输入 tensor
int64_t data[4] = {1, 2, 3, 4};
paddle::PaddleTensor tensor;
tensor.shape = std::vector<int>({4, 1});
tensor.data.Reset(data, sizeof(data));
tensor.dtype = paddle::PaddleDType::INT64;
// 创建输出 tensor，输出 tensor 的内存可以复用
std::vector<paddle::PaddleTensor> outputs;
// 执行预测
CHECK(predictor->Run(slots, &outputs));
// 获取 outputs ...

更多内容详见 > C++ 预测 API介绍

我们以Paddle Inference的Python部署为例进行说明：

使用PaddleDetection提供的deploy/python/infer.py脚本可以对图片进行推理预测。项目中我们使用TensorRT FP16进行推理，在单卡V100上推理速度可以达到208fps。

# 推理单张图片
CUDA_VISIBLE_DEVICES=0 python deploy/python/infer.py --model_dir=inference_model/ppyoloe_crn_m_100e_hazedet --image_file=dataset/hazedet/val/HR/0.png --device=gpu --run_mode=trt_fp16

# 推理文件夹下的所有图片
CUDA_VISIBLE_DEVICES=0 python deploy/python/infer.py --model_dir=inference_model/ppyoloe_crn_m_100e_hazedet --image_dir=dataset/hazedet/val/ --device=gpu  --run_mode=trt_fp16

In [15]

# 推理单张图片
! python deploy/python/infer.py --model_dir=inference_model/ppyoloe_crn_m_100e_hazedet --image_file=dataset/h
簇浪微风
关注
毕业设计：基于yolov5的行人追踪识别-代码+教程可直接运行
10-08 3315
毕业设计：基于yolov5的行人追踪识别-代码+教程可直接运行
基于改进 的 ＡＯＤ－Ｎｅｔ和 ＹＯＬＯｖ５的雾天车辆行人检测算法
07-26
在科技与社会极速发展的当今，道路上具备自动驾驶功能的车辆数目愈发 增多，这些先进的汽车之所以能够实现无人驾驶，是因为车上搭载了大量用于 感知周围环境的传感器与摄像机，通过这些设备采集到的图像与路况信息，...
基于YOLOv10的雾天行人车辆检测系统（包含详细的完整的程序和数据）
最新发布
10-13
内容概要：该文章详细介绍了一种使用YOLOv10在雾天环境下实时检测行人和车辆的方法。项目涵盖了环境搭建、数据处理到模型部署等整个流程，最终实现的效果不仅能够高精准地完成任务，而且还配备了一个易于使用且美观大方的图形用户界面。 适合人群：熟悉机器视觉和深度学习的研究者与工程师，特别是那些从事交通安全和智能监控领域的专业人才。 使用场景及目标：本项目的应用对象为智能交通工具和公共安全管理方面，在雨雪雾霾等复杂气候条件下保障道路交通安全。 补充说明：作者强调了未来可以通过扩充训练数据库来提高算法对极端气候的敏感度、与其他先进的人工神经网络融合或者采取模型量化等方式继续改进这个原型软件的功能性能和用户体验。
基于yolov5的车辆行人道路检测
weixin_44978992的博客
05-27 6362
"图2 yolov5模型图YOLO网络由三个主要组件组成：1）Backbone -在不同图像细粒度上聚合并形成图像特征的卷积神经网络。2）Neck：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层。3）Head： 对图像特征进行预测，生成边界框和并预测类别。输入端-输入端表示输入的图片。该网络的输入图像大小为608*608，该阶段通常包含一个图像预处理阶段，即将输入图像缩放到网络的输入大小，并进行归一化等操作。
基于YOLOv5的行人检测系统
qq_46644680的博客
01-09 2747
目标检测在计算机视觉领域中的重要性，特别是在人群流量监测方面的应用。其中，YOLO（You Only Look Once）系列算法在目标检测领域取得了显著的进展，从YOLO到YOLOv5的发展历程表明其在算法性能上的不断优化。文中提到了基于YOLOv5设计的人口密度检测系统，该系统通过深度学习算法对人群进行检测和计数，主要应用于商场、路口等需要控制人流的场所。系统通过YOLOv5算法实现人群检测和计数，具体使用Python实现了该算法，并通过PyQt创建了用户界面，实现了对行人数目和人群密度的监测。
深度学习目标检测】二十、基于深度学习的雾天行人车辆检测系统-含数据集、GUI和源码（python，yolov8）
AI爱好者的博客，分享计算机领域相关知识
02-26 3918
雾天车辆行人检测在多种场景中扮演着至关重要的角色。总的来说，雾天车辆行人检测技术在提升道路安全、辅助驾驶、提高交通效率以及推动自动驾驶技术的发展等方面都发挥着重要作用。本文介绍了基于深度学习yolov8的雾天行人车辆检测系统，包括训练过程和数据准备过程，同时提供了推理的代码和GUI。对准备相关的毕业设计的同学有着一定的帮助。
YOLOv5实现车辆目标检测
06-30
该算法可以对输入视屏中的每一帧图片的车辆实现车辆目标的识别，具体的功能有： 1.车辆实现车辆跟踪； 2.目标的框选与识别； 3.有完整的图形显示界面，可以显示通过检测线的车辆的总数，当前的帧速率; 4.可以对车辆位置信息进行获取并进行车辆位置的输出打印。
基于yolov8的雾天车辆行人检测系统，包含训练好的权重和推理代码，GUI界面，支持图片、视频、摄像头输入，支持检测结果导出
02-26
基于yolov8的雾天车辆行人检测系统，包含使用yolov8训练好的模型权重，使用pyqt开发的显示界面，支持图片、视频、摄像头输入 相关说明： 1、本资源包含yolov8在RTTS数据集上的训练权重，包含best.pt和last.pt两个...
yolov5 雾天行人车辆检测
05-09
在YOLOv5中，针对雾天行人车辆检测，可以采用以下策略： 1. 数据增强：使用不同的数据增强方法，例如旋转、翻转、缩放等，可以有效地增加训练数据的多样性和数量，从而提高模型的泛化能力和检测准确率。 2. 网络架构...
基于yolov5的雾天行人车辆检测
11-28
基于Yolov5的雾天行人车辆检测可以通过以下步骤实现： 1.准备数据集：收集并标注雾天环境下的行人和车辆图像数据集。 2.训练模型：使用Yolov5算法对数据集进行训练，得到行人和车辆目标检测模型。 3.模型测试：...
YOLOv5行人检测训练权重 +3000行人数据集 yolov5-6.0-person_detect.zip
05-21
1、YOLOv5行人检测训练权重 ，附有各种训练曲线图 2、场景：街道，公路行人检测，一万多数据训练得到，准确率达90%以上， 3、classes: person 4、并包含3000张多行人数据，标签格式为VOC和YOLO两种 5、检测结果和数据集参考：https://blog.csdn.net/weixin_51154380/article/details/124480876
用python实现YOLOv5(PyTorch)行人和车辆的目标检测，原理是什么？有什么技术难点？代码要如何设计？
2301_78256053的博客
06-07 1927
Python和PyTorch之间的关系可以理解为Python是PyTorch的“宿主语言”，即PyTorch是在Python语言环境中开发和运行的。因此，如果想要使用PyTorch进行深度学习的开发和研究，需要首先学习Python语言的基础知识，并了解Python中常用的科学计算库，如NumPy、Pandas等。目标框的预测：YOLOv5使用Anchor Box技术来预测目标框的位置和大小，需要在训练过程中不断地调整Anchor Box的大小和数量，以便更准确地检测目标物体。
基于yolov5s的行人检测 训练自己的数据集
CoiD_WaTeR的博客
08-12 2623
小白的项目
写一篇题目为基于yolov5的行人检测算法研究的论文摘要
weixin_42609225的博客
02-13 932
基于YOLOv5的行人检测算法研究是一项有助于提升安全性的重要研究。本文探讨了基于YOLOv5的行人检测算法的研究进展，以及在行人检测任务中的应用。首先，本文介绍了YOLOv5的架构和特性，并着重介绍了YOLOv5在行人检测任务中的优势，包括准确率、召回率和处理时间。其次，本文研究了YOLOv5在行人检测任务中可能出现的挑战，并将这些挑战加以分析，以减少模型误差。最后，本文提出了一些有关改进YOL...
深度学习目标检测：YOLOv5实现红绿灯检测(含红绿灯数据集+训练代码)
热门推荐
AI吃大瓜的博客
12-16 2万+
深度学习目标检测：YOLOv5实现红绿灯检测(含红绿灯数据集+训练代码); 红绿灯数据集，交通信号灯数据集；红绿灯检测；交通信号灯检测
Yolov5行人检测
ZJC'博客
10-28 2176
基于PP-YOLOE的雾天行人车辆目标检测
AI浩
09-08 5455
RTTS 数据集源自 RESIDE-β 数据集，包含 4322 张真实雾天图片，作为项目训练集。另外有 100 张真实场景图片作为验证集。图像数量分布如下表所示：其中文件名带有后缀 xxx_dehaze.png 的文件加入了 SOTA 去雾方法，如 MSBDN、Trident-Dehazing network、FFA-net 等模型，对有雾数据进行去雾，扩充数据集。方法可以参考 https://github.com/BookerDeWitt/MSBDN-DFF.git。
python+vscode+pytorch+yolov5的行人识别
weixin_45507349的博客
05-28 3196
目标：动态识别行人 开发环境：vscode 安装很简单不说了 语言：python 本来想用基于C#的emgu但效果实在不好 基于C++的opencv效果也一般 这两种适合搞单纯的图片识别 比如缺陷检测这种 必要环境：cuda和cudann 这个看运气 需要独立显卡+最新（官网去找beta版最新的下载）+查看驱动对应的cuda版本（在系统信息-组件中查看）+安装对应版本cuda+安装对应cuda版本的cudann 下面重点来了 使用pytorch+yolov5网上查到两种方法 方法一：直接再VScode中安装
雾天条件下 SLS 融合网络的三维目标检测
学习记录
01-04 1587
论文笔记：《3D Object Detection with SLS-Fusion Network in Foggy Weather Conditions》
RESIDE RTTS数据集
06-16
RESIDE (Realistic Environments for Speech and Image Dialog Evaluation) 是一个专门用于评估语音和图像对话系统真实场景性能的数据集。这个数据集的特点在于它包含了丰富的多模态（即语音和图像）交互场景，用于研究和改进人机交互系统，特别是在智能家居、智能客服等环境中的对话能力。 RTTS (Responsive Talker Synthesis) 部分是RESIDE的一部分，它关注的是合成有反应的说话者（Responsive Talker），这些说话者能够根据用户的输入和环境动态调整他们的语言和行为。RTTS部分的数据包括了各种不同情境下的人的语音反应，如自然语言指令、视觉提示等，旨在测试对话系统对用户行为的理解和适应能力。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值