Jetson 系列——基于yolov5对火源或者烟雾的检测，使用tensorrt、c++和int8加速

最新推荐文章于 2024-05-24 17:15:57 发布
最新推荐文章于 2024-05-24 17:15:57 发布
阅读量9.3k 收藏 80
点赞数 11
分类专栏： 深度学习 jetson nane or xavier deep learning project 文章标签： c++ 目标检测 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42264234/article/details/121214079
版权

项目简介：

代码地址：
github地址:https://github.com/RichardoMrMu/yolov5-fire-smoke-detect
gitee地址:https://gitee.com/mumuU1156/yolov5-fire-smoke-detect
欢迎start或提出你的issue、改进建议。
本项目使用yolov5实现自然状态中火源或者烟雾的检测，使用c++实现，并用tensorrt加速，尝试了不同大小的模型，同时使用int8加速，在Jetson Xavier nx上整个项目的推理时间在30ms左右，即33FPS的速度。
You can see video play in BILIBILI, or YOUTUBE.

如果你想从头开始尝试训练模型，你可以查看 yolov5-fire-smoke-detect-python这个仓库，并阅读他的readme，帮助你是用python去训练一个自己的烟雾和火焰检测模型，并使用c++去部属到边缘设备上。

效果

在这里插入图片描述

如果你想在预训练模型上进行微调，可以尝试yolov5的官方pretrained模型，然后在对应数据集上进行训练，根据教程将pytorch的模型转为tensorrt使用的engine文件。

Speed

Backbonebefore TensorRTTensortRT(detection)FPS(detection)
Yolov5s-640-float16100ms60-70ms14 ~ 18
Yolov5m-640-float16120ms70-75ms13 ~ 14
Yolov5s-640-int830-40ms25 ~ 33
Yolov5m-640-int850-60ms16 ~ 20

Achieve and Experiment

  • Int8.
  • yolov5-s
  • yolov5-m

Comming soon

  • Faster and use less memory.

DataSet

本案例使用数据集包含MIT协议互联网下载图片和MIT协议公开数据集，共有6675张图片，分别检测烟雾和火灾

数据集图片格式是VOC数据格式，VOC数据是每个图像文件对应一个同名的xml文件，xml文件内包含对应图片的基本信息，比如文件名、来源、图像尺寸以及图像中包含的物体区域信息和类别信息等。

xml文件中包含以下字段：

  • filename，表示图像名称。

  • size，表示图像尺寸。包括：图像宽度、图像高度、图像深度。

    <size>
    <width>500</width>
    <height>375</height>
    <depth>3</depth>
</size>

  • object字段，表示每个物体。包括:

    标签说明
    name物体类别名称
    pose关于目标物体姿态描述（非必须字段）
    truncated如果物体的遮挡超过15-20％并且位于边界框之外，请标记为truncated（非必须字段）
    difficult难以识别的物体标记为difficult（非必须字段）
    bndbox子标签(xmin,ymin) 左上角坐标，(xmax,ymax) 右下角坐标，

将这6675张图片按9:1比例随机切分，切分后包含6008张图片的训练集和667张图片的验证集，提供处理好的数据集，下载地址。包含以下文件夹和文件：images,annotations,labels.txt, train_list.txt和 val_list.txt，分别图片、xml标注文件、存储类别信息、训练样本列表、验证样本列表。训练样本列表和验证样本列表的每一行格式为：图片路径 对应的xml路径，例如images/fire_00348.jpg annotations/fire_00348.xml。

最终数据集文件组织结构为：

 ├── dataset
	├── annotations
  │   ├── fire_000001.xml
  │   ├── fire_000002.xml
  │   ├── fire_000003.xml
  │   |   ...
  ├── images
  │   ├── fire_000001.jpg
  │   ├── fire_000003.jpg
  │   ├── fire_000003.jpg
  │   |   ...
  ├── label_list.txt
  ├── train.txt
  └── valid.txt

项目使用

这个项目中，需要检测的yolov5，我选择yolov5s模型，并通过yolov5s.pt->yolov5s.wts->yolov5s.engine，获取engine file。同时你也可以参考tensorrtx official readme。

0.Python Code

你可以下载这个yolov5-fire-smoke-detect-python的代码进行训练，推理等操作，也可以直接下载模型。
python仓库的操作步骤，请参看该仓库的README.md。

1. requirement

请注意，下列流程，我在Jetson Xavier nx和Jetson nano上完整实现过，你同样可以在ubuntu系统上实现，如果想在windows上测试，需要你自己摸索。

Jetson nano or Jetson Xavier nx
Jetpack 4.5.1
python3 with default(jetson nano or jetson xavier nx has default python3 with tensorrt 7.1.3.0 )
tensorrt 7.1.3.0
torch 1.8.0
torchvision 0.9.0
torch2trt 0.3.0
onnx 1.4.1
opencv-python 4.5.3.56
protobuf 3.17.3
scipy 1.5.4

2. 下载yolov5-fire-smoke-detect

如果你已经有了yolov5s.engine，那么仅下载{yolov5-fire-smoke-detect}仓库，然后修改{yolov5-deepsort-tensorrt}/src/main.cpp中
char* yolo_engine = "";为自己模型的位置 ,执行编译链接即可。如果没有这个文件，请参考3往后的步骤。

// 下载c++项目代码
git clone https://github.com/RichardoMrMu/yolov5-fire-smoke-detect
// {}代表该项目的绝对路径
cd {yolov5-fire-smoke-detect}
mkdir build
// 修改{yolov5-fire-smoke-detect}/src/main.cpp中deepsort
//char* yolo_engine = ""; 为自己模型的位置
// frame = capture.open("");将open中换成mp4所在的路径，或者如果使用usb摄像头，就写成capture.open(0)
// 然后执行编译链接即可

cmake ..
make
// make成功后，会在build文件夹下生成一个yolosort二进制文件 运行即可
./yolofire // 运行二进制文件

3. 将pytorch的模型转为tensorrt支持的模型文件

因为python自身速度的问题和pytorch原生模型速度的问题，如果将检测部分的yolov5模型和track模块特征提取的模型转为tensorrt，速度会快10倍左右。

  1. 下载yolov5官方代码和模型

请注意，我下面使用的yolov5代码版本是yolov5-5，即v5.0版本，所以，如果你想自己训练模型替换engine file，请确保的yolov5代码版本是v5.0。

// 下载v5.0
git clone -b v5.0 https://github.com/ultralytics/yolov5.git
cd yolov5
mkdir weights
cd weights
// download https://github.com/ultralytics/yolov5/releases/download/v5.0/yolov5s.pt
// 这里使用yolov5s模型
wget https://github.com/ultralytics/yolov5/releases/download/v5.0/yolov5s.pt
  1. 下载并配置tensorrt
git clone https://github.com/wang-xinyu/tensorrtx
  1. 将pytorch的yolov5s.pt模型文件转为wst文件
    将tensorrtx下的get_wts.py文件拷贝到yolov5文件夹下，然后将下载好的或者训练好的yolov5s.pt模型转换为wts模型
cp tensorrtx/gen_wts.py yolov5/
cd yolov5 
python3 gen_wts.py -w ./weights/yolov5s.pt -o ./weights/yolov5s.wts
// a file 'yolov5s.wts' will be generated.

你可以在 yolov5/weights/找到yolov5s.wts模型

  1. 编译tensorrtx/yolov5项目并获取tensorrt engine file
    此处请注意，如果你是自己训练的模型，那么要将yololayer.h中的CLASS_NUM，INPUT_H,INPUT_W修改为自己的参数。即文件的20,21,22行。因为此处是二分类，即火焰和烟，因此CLASS_NUM为2。
cd tensorrtx/yolov5
// update CLASS_NUM as 2 in yololayer.h 
mkdir build
cd build
cp {ultralytics}/yolov5/yolov5s.wts {tensorrtx}/yolov5/build
cmake ..
make
// yolov5s
sudo ./yolov5 -s yolov5s.wts yolov5s.engine s
// test your engine file
sudo ./yolov5 -d yolov5s.engine ../samples

然后你就得到了yolov5.engine文件，你需要将这个文件放到我的项目中，你可以创建一个{yolov5-fire-smoke-detect}/resources文件夹放模型。

cd {yolov5-fire-smoke-detect}
mkdir resources
cp {tensorrtx}/yolov5/build/yolov5s.engine {yolov5-fire-smoke-detect}/resources

经过以上的步骤，获得了yolov5.engine，将这个文件放到相应的位置。即可编译运行该项目。

INT8 Quantization int8模型量化

int8量化和之前的float16有些许差别，tensorrt的int8量化需要图片的calibration，正如tensorrtx readme所说。
对于一般的yolo模型训练，你可能需要下载coco_calid.zip，你可以通过这个google drive url or BAIDUYUN — 密码是a9wh . 随后解压到{project}/build/.
然后你需要将yolov5.cpp文件中第十行的USE_FLOAT16 改成USE_INT8。
然后重新编译运行：

cmake ..
make 
// yolov5s
sudo ./yolov5 -s yolov5s.wts yolov5s-int8.engine s
// testyour engine file
sudo ./yolov5 -d yolov5s-int8.engine ../samples

这样你就得到了int8量化的yolov5模型了，你可以尝试一下，是否加速了。

如果你遇到问题，请在github项目yolov5-fire-smoke-detect的issue中提问题，或者在这篇文章下评论。欢迎讨论。

Other Project

RichardorMu
关注
  • 11
    点赞
  • 踩
  • 80
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
Jetson Nano 【12】关于torch2trt 是否支持int8的问题
椰子奶糖的博客
03-22 4966
起因，模型量化部署 最近想着量化模型了，我们知道一般模型是fp32格式的，而fp16我们已经尝试过，于是我想测试下torch2trt是否支持int8 torch2trt 是否支持int8？ 关于这个问题，我回去官方的git上转了转，发现readme或者别的，都是以fp16为例子，转了一圈去issues看看，想着一定有人会有这种想法，并出错~ 作者回复说不支持~ https://git...
Jetson Nano结合MediaPipe实现
水蓝城
03-08 5526
文章目录前言安装MediaPipe安装Bazel安装OpenCV和FFMpeg安装GPU加速支持库——OpenGL ES配置TensorFlow的CUDA支持尝试编译运行GPU版Holistic案例 前言 Jetson Nano是NVIDIA出品的一款小型AI计算机，与Raspberry PI这种开发板相比，它上面安装了NVIDIA Maxwell GPU，显然更适合于运行计算机视觉方面的AI应用。根据我之前的一篇博客，也可以很轻松地配置好一台具有计算机视觉AI开发环境的Jetson Nano。 但Jets
jetson nano配置yolov5（超详细）
最新发布
educth的博客
05-24 1170
本文是本人经过无数踩坑之后做出的总结。
基于opencv的火焰识别
08-12
本文基于LINUX设计了基于opencv的火焰识别程序，程序包含图像预处理，以及基于RGB与HSI分量的辨判别程序，最后当检测到火源后，通过串口通信的方式传输出去
毕业设计-基于深度学习的火焰图像识别
Hai_Lang_IT的博客
04-06 1613
毕业设计-基于深度学习的火焰图像识别：火灾预警对于人民生活和工业安防具有重大意义。火灾具有突发性、火焰燃烧蔓 延较快的特点，同时火灾对人民的生活、财产等造成了严重的威胁。国家火灾统计报 告指出，2003 至 2012 年，我国年平均突发火灾 18 万起，年均死亡人数 1698 人，年 均受伤人数在 1426 人次，年均直接损失在 16.26 亿元。随着经济社会的快速发展和工 业原料的多样化，火灾造成的危害正在逐步增加。 传统的基于物理传感器的火灾 识别方法，多数采样用烟雾传感器、温度传感器、紫外线传感器等进
智慧工地烟火识别算法 opencv
燧机科技的博客
05-07 474
智慧工地烟火识别系统应用python+opencv深度学习算法模型技术分析前端视频信息，智慧工地烟火识别算法模型主动发现工地或者厂区现场区域内的烟雾和火灾苗头及时进行告警。OpenCV的全称是Open Source Computer Vision Library，是一个跨平台的计算机视觉处理开源软件库，是由Intel公司俄罗斯团队发起并参与和维护，支持与计算机视觉和机器学习相关的众多算法，以BSD许可证授权发行，可以在商业和研究领域中免费使用。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序
yolov8使用tensorRT进行c++部署
01-29
在本文中，我们将深入探讨如何使用TensorRT对YOLOv8模型进行C++部署，以实现高效的计算机视觉任务，特别是X射线检测。YOLO（You Only Look Once）系列是实时目标检测领域的标志性算法，而YOLOv8作为最新版本，优化了...
jetson nano csi摄像头 tensorrt 运行yolov8检测 项目代码
05-27
5. **.cpp文件（yolov8.cpp）**: 这是C++源代码文件，可能包含了实现Yolov8目标检测的算法逻辑，或者与TensorRT集成的部分。 6. **.engine文件（yolov8s.engine、yolov8s_end2end.engine）**: TensorRT引擎文件，...
基于jetson平台使用tensorRT加速推理yolov5的两种方法
04-19
由于大多数深度学习模型部署在嵌入式平台均出现推理速度过慢的情况，因此引用到tensorRT来加速推理深度学习模型，以yolov5为例，本文介绍了两种方式将yolov5在pytorch框架下训练出的.pt权重抓换成tensorRT的推理引擎...
跟踪算法部署-使用TensorRT加速YOLOv5+deepsort在Jetson-NX上的加速部署-超优质项目-附完整流程教程
01-18
标题中的“跟踪算法部署-使用TensorRT加速YOLOv5+deepsort在Jetson-NX上的加速部署”指的是一个实际的计算机视觉项目，其目的是利用特定的硬件平台和软件技术来提升目标检测和追踪的效率。这个项目的核心是将两个...
yolov5-onnx-tensorrt:如何使用 TensorRT 运行 yolov5 模型
05-29
将 pytorch 转换为 onnx 和 tensorrt yolov5 模型以在 Jetson AGX Xavier 上运行。 支持推断图像。 支持同时推断多幅图像。 要求 请使用torch>=1.6.0 + onnx==1.8.0 + TensorRT 7.0.0.11 运行代码 代码结构 ...
YOLOv5火焰烟雾检测+训练好的模型+数据集+pyqt界面.zip
06-22
YOLOv5火焰烟雾检测+训练好的模型+数据集+pyqt界面，可直接进行推理测试。 1、项目是训练过的，可直接进行推力测试。 2、项目包含烟雾和火焰的数据集，已标记好！ 3、如果想想重新训练也可以。 4、可以直接用训练好的权重pt文件进行推力测试，测试视频和图片都可以，很好用。 5、价格绝对是优惠价，可以放心下载 YOLOv5训练好的火焰烟雾检测模型，包括yolov5s-fire_smoke.pt和yolov5m-fire_smoke.pt两个训练好的模型，并包含标注好的火焰和烟雾数据集，标签格式为xml和txt两种 有QT界面 采用pytrch框架，代码是python的 YOLOv5训练好的火焰烟雾检测 pyqt界面 yolov5界面
YOLOv5吸烟检测 yolov5-6.0-smoking_detect.zip
05-19
YOLOv5吸烟检测训练好的 模型，在几千张吸烟数据中训练得到，用于吸烟时的行为检测，有YOLOv5m和yolov5s两个训练好的吸烟检测的模型；目标类别是smoke，准确率大90%以上，附有pr曲线，loss曲线等等， 参考结果：https://blog.csdn.net/weixin_51154380/article/details/124480876
Mediapipe-Holistic-Tracking
03-25
Mediapipe整体跟踪 使用Google的mediapipe python API跟踪视频的整体情况。 用法 $ python app.py -i <input video path> -o <output> -f <path>
Nvidia TensorRT官方API文档
02-20
Nvidia TensorRT官方API文档，离线使用。
基于mediapipe和KNN算法的深蹲/引体向上计数检测【mediapipe】【BlazePose】【KNN邻接算法】
qq_2301776048的博客
07-04 4476
mediapipe和KNN算法的深蹲/引体向上计数检测【mediapipe】【BlazePose】【KNN邻接算法】
YOLOv5火焰烟雾检测
weixin_46556352的博客
08-09 4648
YOLOv5火焰烟雾检测
一文详解Yolov5——基于Yolov5的火灾检测系统
热门推荐
weixin_63866037的博客
02-08 1万+
本文以yolov5为基础设计一套火灾检测系统，由于大多数设备、算法的实时性较差或检测精确度偏低，而YOLOv5 检测算法拥有轻量级的模型和优良的性能，针对于此，本项目基于 YOLOv5 算法， 着重解决的问题是如何实现准确快速地检测火灾，以减小在复杂环境中的误检率，并提高检测精确率和实时性。
【目标检测】基于yolov5的火灾烟雾检测和识别(附代码和数据集)
学无止境、积少成多、厚积薄发
03-23 3913
【目标检测】基于yolov5的火灾烟雾检测和识别(附代码和数据集)
c++ yolov5 tensorrt jetson部署
12-17
要在Jetson上部署c YOLOv5模型，首先需要在PC上使用Python将YOLOv5模型转换成ONNX格式，然后使用TensorRT进行模型优化和加速。接着，将优化后的模型加载到Jetson上，并使用Jetson的CSI摄像头模块获取图像数据，送入...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值