基于yolov5的雾天行人车辆目标检测

最新推荐文章于 2024-02-26 14:07:26 发布
最新推荐文章于 2024-02-26 14:07:26 发布
阅读量3k 收藏 44
点赞数 1
文章标签： 计算机视觉 目标检测 YOLO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_67578746/article/details/133804543
版权

1. 项目说明

随着科技的发展，图像识别与目标检测技术在自动驾驶、智能交通等领域得到了广泛应用。然而，在复杂的环境条件下，如雾天，现有的目标检测技术可能会面临识别率下降的问题。为此，我们提出了基于Yolov5的雾天行人车辆目标检测项目，以提高在复杂环境下的检测准确性。YOLOv5是近年来最先进的目标检测算法之一，其结合了高速和准确性，适用于实时场景。这里我们选用的 RTTS 数据集为例，该项目的挑战在于：

  1. 目标复杂

    • 环境复杂，要适应各种能见度条件下的白天、阴天、雾天、霾天等气候环境；
    • 场景复杂，城市道路、乡村、高速公路等场景差异性较大；

  2. 样本不均衡

    • 类别多，包含：行人、骑车人、汽车、巴士、摩托车、自行车；
    • 每张图像中包含多类目标，以及各种程度的遮挡与截断；

图 1 - RTTS 数据集示例

2. 环境说明

本示例是基于yolov5网络，在 RTTS 数据集进行了训练。

  • PaddlePaddle 2.2

  • OS 64位操作系统

  • 深度学习框架：PyTorch 1.7或更高版本，用于搭建和训练Yolov5模型。

  • Python 3(3.6/3.7/3.8/3.9)，64位版本

  • pip/pip3(9.0.1+)，64位版本

  • CUDA >= 10.1

  • cuDNN >= 7.6

3. 数据准备

3.1 数据介绍

RTTS：雾天行人车辆目标检测_数据集-飞桨AI Studio星河社区

RTTS 数据集源自 RESIDE数据集（RESIDE-雾天数据集是一个公开的数据集，用于雾天图像处理和计算机视觉的相关研究），RTTS数据集包含 4322 张真实雾天图片，作为项目训练集。另外有 100 张真实场景图片作为验证集。图像数量分布如下表所示：

数据集trainval
图像数量4322100

数据预处理：对收集的图像数据进行清理和预处理，包括图像增强（如对比度增强、图像去雾）等；

3.2 数据结构

文件的组织结构如下（参考COCO）：

YOLO格式标注数据文件如下：

VOC格式标注数据文件如下：

4. 模型选择

Joseph Redmon等人在2015年提出YOLO（You Only Look Once，YOLO）算法，通常也被称为YOLOv1；2016年，他们对算法进行改进，又提出YOLOv2版本；2018年发展出YOLOv3版本；2020年发布YOLOv5版本，目前v5也是这几个版本中使用最广泛的一版。

  1. Yolov5是一种基于深度学习的目标检测算法，相比传统的两阶段目标检测方法，Yolov5采用单阶段的检测流程，速度上有较大优势[2]。在雾天环境下，由于能见度较低，需要处理的图像数量较多，因此使用速度较快的算法可以提高检测效率。

  2. Yolov5将输入图像划分为一个固定大小的网格，并在每个网格上预测目标的边界框和类别。这种网格划分的方式使得Yolov5对于小目标的检测效果较好，能够有效地检测到雾天环境下的人和车辆目标。

  3. Yolov5可以在多个尺度上进行预测，结合不同尺度的特征信息，提高检测精度。在雾天环境下，由于光线衰减和散射的影响，图像中的目标可能出现模糊或者噪声，使用多尺度的预测可以增强对目标的区分能力。

综上所述，Yolov5作为雾天人车目标检测的算法，具有速度快、对小目标检测效果好、能够利用多尺度信息等优点，能够在雾天环境下有效地检测人和车辆目标。

5. 模型训练

默认 8 卡配置，如在 AI Studio 使用单卡训练则需要修改train.sh文件。具体修改如下：

export CUDA_VISIBLE_DEVICES=0
python -m paddle.distributed.launch --gpus 0 tools/train.py -c configs-hazedet/ppyoloe/ppyoloe_crn_m_100e_hazedet.yml --eval

In [7]

! bash train.sh

6. 模型评估

基于 PaddleDetection 库，我们提供了多种预测方式，可自行选择。

模型位置: output/ppyoloe_crn_m_100e_hazedet

In [4]

! bash eval.sh

7. 模型优化

本小节侧重展示在模型迭代过程中优化精度的思路：

  1. Baseline：主干网络加载ImageNet预训练的CSPResNetb_m模型参数，训练100epoch后进行评估：
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.260
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.499
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.237
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.180
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.319
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.447
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.208
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.413
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.428
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.318
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.550
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.574
  1. COCO预训练模型：加载COCO预训练的ppyoloe_crn_m模型模型，并在RTTS数据集进行finetune训练。最终检测mAP获得14.7%的提升。
Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.407
Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.672
Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.416
Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.283
Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.489
Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.716
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.282
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.492
Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.510
Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.390
Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.618
Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.769
  1. 离线数据增强；利用去雾算法对训练集进行离线的数据增广，常见去雾方法如MSBDN、Trident-Dehazing network、FFA-net等模型。

这里我们选择了MSBDN模型，离线对训练集进行了去雾增强，并与原始训练集共同进行训练，目的是通过生成不同雾浓度的图片来丰富训练集，同时通过降低浓雾样本的识别难度，加速模型收敛。最终检测mAP获得0.6%的提升。

11583  Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.413
11584  Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.672
11585  Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.415
11586  Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.277
11587  Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.519
11588  Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.726
11589  Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.282
11590  Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.499
11591  Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.517
11592  Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.387
11593  Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.641
11594  Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.780

8. 推理可视化

参考 infer.sh，最终输出文件在 output 目录。

In [9]

! python tools/infer.py \
  -c configs-hazedet/ppyoloe/ppyoloe_crn_m_100e_hazedet.yml \
  --infer_img=dataset/hazedet/val/HR/59.png \
	-o weights=output/ppyoloe_crn_m_100e_hazedet/best_model

检测前

检测前

图 2 - 图片检测前后对比（取自 output 目录）

默认执行100次epoch迭代计算，结果详情如下：

LABEL可视化：

F1值曲线：

PR曲线：

batch计算实例：

可视化推理样例如下：

9. 模型导出

导出推理模型

PaddlePaddle框架保存的权重文件分为两种：支持前向推理和反向梯度的训练模型 和 只支持前向推理的推理模型。二者的区别是推理模型针对推理速度和显存做了优化，裁剪了一些只在训练过程中才需要的tensor，降低显存占用，并进行了一些类似层融合，kernel选择的速度优化。因此可执行如下命令导出推理模型。

默认导出到 inference_model 目录。

In [10]

# 模型导出
! bash export_model.sh

10. 模型部署

使用飞桨原生推理库paddle-inference，用于服务端模型部署

总体上分为三步：

  1. 创建PaddlePredictor，设置所导出的模型路径
  2. 创建输入用的 PaddleTensor，传入到 PaddlePredictor 中
  3. 获取输出的 PaddleTensor ，将结果取出
#include "paddle_inference_api.h"
 
// 创建一个 config，并修改相关设置
paddle::NativeConfig config;
config.model_dir = "xxx";
config.use_gpu = false;
// 创建一个原生的 PaddlePredictor
auto predictor =
      paddle::CreatePaddlePredictor<paddle::NativeConfig>(config);
// 创建输入 tensor
int64_t data[4] = {1, 2, 3, 4};
paddle::PaddleTensor tensor;
tensor.shape = std::vector<int>({4, 1});
tensor.data.Reset(data, sizeof(data));
tensor.dtype = paddle::PaddleDType::INT64;
// 创建输出 tensor，输出 tensor 的内存可以复用
std::vector<paddle::PaddleTensor> outputs;
// 执行预测
CHECK(predictor->Run(slots, &outputs));
// 获取 outputs ...

更多内容详见 > C++ 预测 API介绍

我们以Paddle Inference的Python部署为例进行说明：

使用PaddleDetection提供的deploy/python/infer.py脚本可以对图片进行推理预测。项目中我们使用TensorRT FP16进行推理，在单卡V100上推理速度可以达到208fps。

# 推理单张图片
CUDA_VISIBLE_DEVICES=0 python deploy/python/infer.py --model_dir=inference_model/ppyoloe_crn_m_100e_hazedet --image_file=dataset/hazedet/val/HR/0.png --device=gpu --run_mode=trt_fp16

# 推理文件夹下的所有图片
CUDA_VISIBLE_DEVICES=0 python deploy/python/infer.py --model_dir=inference_model/ppyoloe_crn_m_100e_hazedet --image_dir=dataset/hazedet/val/ --device=gpu  --run_mode=trt_fp16

In [15]

# 推理单张图片
! python deploy/python/infer.py --model_dir=inference_model/ppyoloe_crn_m_100e_hazedet --image_file=dataset/h
簇浪微风
关注
  • 1
    点赞
  • 踩
  • 44
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
YOLOv5改进 | 图像去雾 | MB-TaylorFormer改善YOLOv5高分辨率和图像去雾检测
weixin_39818775的博客
05-10 252
通过将 MB-TaylorFormer 模块嵌入 YOLOv5 的骨干网络中，模型可以更好地捕捉图像的全局特征和细节信息，从而增强其在高分辨率图像和模糊图像上的目标检测能力。为此，本文提出了一种基于 MB-TaylorFormer 的 YOLOv5 增强模型（MB-TaylorFormer-YOLOv5），旨在提升模型在高分辨率和图像去雾场景下的目标检测性能。MB-TaylorFormer-YOLOv5 模型的实现主要涉及将 MB-TaylorFormer 模块嵌入 YOLOv5 的骨干网络中。
基于yolov5+PyQt5实现雾天环境下车辆检测源码(带GUI界面)+训练好的模型+数据集+评估指标曲线+操作使用说明.7z
12-12
基于yolov5+PyQt5实现雾天环境下车辆检测源码(带GUI界面)+训练好的模型+数据集+评估指标曲线+操作使用说明.7z 雾天环境下，车辆检测源码，带模型、数据集、评估指标曲线、GUI界面、项目说明。 适合用作期末大作业、毕设、课设项目 【备注】主要针对正在做毕设的同学和需要项目实战的深度学习cv图像识别模式识别方向学习者。 也可作为课程设计、期末大作业。包含：项目源码、训练好的模型、项目操作说明等，该项目可直接作为毕设使用。 也可以用来学习、参考、借鉴。如果基础不错，在此代码上做修改，训练其他模型。
基于视频图像的雾天能见度检测方法研究与实现
05-22
基于视频图像的雾天能见度检测方法研究与实现
YOLOv5实现车辆目标检测
06-30
该算法可以对输入视屏中的每一帧图片的车辆实现车辆目标的识别，具体的功能有： 1.车辆实现车辆跟踪； 2.目标的框选与识别； 3.有完整的图形显示界面，可以显示通过检测线的车辆的总数，当前的帧速率; 4.可以对车辆位置信息进行获取并进行车辆位置的输出打印。
基于YOLOV5的雾霾天气下交通标志识别模型
04-21
基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标志识别模型 基于YOLOV5的雾霾天气下交通标
RESIDE数据集(包括RTTS、OTS、ITS、SOTS、HSTS、Unannotated Real-world Hazy)
05-14
RESIDE六种数据集全收集，txt内有搜集好的六种数据集百度网盘链接，已经把数据集放在我的网盘内，进入txt内的我的百度网盘链接下载即可。
深度学习目标检测：YOLOv5实现车辆检测(含车辆检测数据集+训练代码)
热门推荐
AI吃大瓜的博客
12-05 6万+
YOLOv5实现车辆检测(含车辆检测数据集+训练代码)；机动车检测，车辆实时检测；车辆目标检测；Pytorch车辆检测
YOLOV5单目测距+车辆检测+车道线检测+行人检测（教程附代码）
阿利同学的博客
01-05 3717
YOLOV5单目测距+车辆检测+车道线检测+行人检测（教程附代码），单目测距，行人检测与技数
yolov5汽车检测linux字符界面操作全流程，适合上手(含数据集近700张图片8000多个目标+训练好的模型)
weixin_63520812的博客
10-06 3092
前段时间跟朋友一起整理了一个汽车目标的数据集，主要包括UA-DETRAC车辆检测数据集和自定义数据集。
Selenium获取input输入框中值的三种方法
沈伟-测试前行者
06-01 2万+
input输入框里的值，正常通过text等方法获取不到，所以记录下来 第一种用jQuery的val方法： 　　js = "return $('input').val();" 　　driver.execute_script(js) 第二种用jQuery的attr方法： 　　js = "return $('input').attr('value');"
基于yolov8的雾天车辆行人检测系统，包含训练好的权重和推理代码，GUI界面，支持图片、视频、摄像头输入，支持检测结果导出
02-26
基于yolov8的雾天车辆行人检测系统，包含使用yolov8训练好的模型权重，使用pyqt开发的显示界面，支持图片、视频、摄像头输入 相关说明： 1、本资源包含yolov8在RTTS数据集上的训练权重，包含best.pt和last.pt两个...
目标检测数据集(YOLOV5目录格式)：雾天下的行人、车辆目标检测数据集（5类别）
最新发布
03-31
项目包含：雾天下的行人、车辆目标检测数据集（5类别），数据保存按照YOLOV5文件夹保存，可直接用作目标检测数据集，无需额外处理。 图像分辨率为400-1000的RGB图片，包含雾天马路上的常见车辆、人群 【数据集介绍...
雾天行人车辆检测数据集VOC+YOLO格式4415张5类别
03-22
标注类别数：5 标注类别名称:["bicycle","bus","car","motorbike","person"] 每个类别标注的框数： bicycle 框数 = 710 bus 框数 = 2633 car 框数 = 25735 motorbike 框数 = 1291 person 框数 = 11531 总框数：41900
深度学习目标检测】二十、基于深度学习的雾天行人车辆检测系统-含数据集、GUI和源码（python，yolov8）
AI爱好者的博客，分享计算机领域相关知识
02-26 3240
雾天车辆行人检测在多种场景中扮演着至关重要的角色。总的来说，雾天车辆行人检测技术在提升道路安全、辅助驾驶、提高交通效率以及推动自动驾驶技术的发展等方面都发挥着重要作用。本文介绍了基于深度学习yolov8的雾天行人车辆检测系统，包括训练过程和数据准备过程，同时提供了推理的代码和GUI。对准备相关的毕业设计的同学有着一定的帮助。
恶劣天气下的目标检测
weixin_36670529的博客
03-01 8086
1、Object Detection in Fog Degraded Images 图像处理是从给定图像中提取有价值数据的技术，用于不同的目的，如改善图像的可视化，以及从提取的数据中测量结构或特征。高质量的图像和视频很容易预测和分类，而检测模糊或模糊的图像是一个麻烦的问题。本文提出了一种有效的方法，将离散小波变换和卷积神经网络等多种图像处理技术相结合，对去雾图像进行引导滤波预处理。所提出的技术极大地改进了相关的标准性能指标，如PSNR、MSE和IIE。 ...
基于深度学习的高精度烟雾检测识别系统（PyTorch+Pyside6+YOLOv5模型）
sc1434404661的博客
06-22 4091
近年来，机器学习和深度学习取得了较大的发展，深度学习方法在检测精度和速度方面与传统方法相比表现出更良好的性能。YOLOv5是单阶段目标检测算法YOLO的第五代，根据实验得出结论，其在速度与准确性能方面都有了明显提升，开源的代码可见https://github.com/ultralytics/yolov5。因此本博文利用YOLOv5检测算法实现一种高精度烟雾识别检测模型，再搭配上Pyside6库写出界面系统，完成目标检测识别页面的开发。
图像处理实战02-yolov5目标检测
liaomin416100569的专栏
06-15 1万+
以下模型列的解释列名解释Model模型的名称输入图像的大小（以像素为单位）在验证集上的平均精确度（mean Average Precision），考虑所有IOU阈值从0.5到0.95的情况，准确率是%mAPval0.5在验证集上的平均精确度，只考虑IOU阈值为0.5的情况在CPU上使用batch size为1时的推理速度（以毫秒为单位）在NVIDIA V100 GPU上使用batch size为1时的推理速度（以毫秒为单位）
水下目标检测总结
zhuyijun09的博客
10-29 3580
数据标注格式
基于yolov5的雾天行人车辆检测
11-28
基于Yolov5的雾天行人车辆检测可以通过以下步骤实现： 1.准备数据集：收集并标注雾天环境下的行人和车辆图像数据集。 2.训练模型：使用Yolov5算法对数据集进行训练，得到行人和车辆目标检测模型。 3.模型测试：使用训练好的模型对新的雾天环境下的图像进行目标检测。 具体实现步骤如下： 1.安装Yolov5：在终端中输入以下命令安装Yolov5。 ```shell git clone https://github.com/ultralytics/yolov5.git cd yolov5 pip install -r requirements.txt ``` 2.准备数据集：收集并标注雾天环境下的行人和车辆图像数据集。将数据集划分为训练集和测试集，并将其放置在相应的文件夹中。 3.训练模型：在终端中输入以下命令训练模型。 ```shell python train.py --img 640 --batch 16 --epochs 100 --data data.yaml --cfg models/yolov5s.yaml --weights '' --name yolov5s_results ``` 其中，--img指定输入图像的大小，--batch指定批量大小，--epochs指定训练轮数，--data指定数据集的配置文件，--cfg指定模型的配置文件，--weights指定预训练模型的权重文件，--name指定训练结果的保存文件夹。 4.模型测试：在终端中输入以下命令测试模型。 ```shell python detect.py --weights runs/train/yolov5s_results/weights/best.pt --img 640 --conf 0.4 --source test/images/ ``` 其中，--weights指定训练好的模型的权重文件，--img指定输入图像的大小，--conf指定置信度阈值，--source指定测试集的图像文件夹。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值