Jetson Nano | DeepStream部署Yolov5（Pytorch模型--＞wts 文件--＞TensorRT模型）

最新推荐文章于 2024-03-14 14:40:23 发布
最新推荐文章于 2024-03-14 14:40:23 发布
阅读量1w 收藏 155
点赞数 18
分类专栏： Jetson nano 文章标签： 自动驾驶 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w1995s/article/details/119858078
版权

文章目录


详见：https://github.com/marcoslucianops/DeepStream-Yolo/blob/master/YOLOv5-5.0.md

环境

Matplotlib（用于 Jetson 平台）

sudo apt-get install python3-matplotlib

PyTorch（用于 Jetson 平台）

wget https://nvidia.box.com/shared/static/p57jwntv436lfrd78inwl7iml6p13fzh.whl -O torch-1.8.0-cp36-cp36m-linux_aarch64.whl
sudo apt-get install python3-pip libopenblas-base libopenmpi-dev
pip3 install Cython
pip3 install numpy torch-1.8.0-cp36-cp36m-linux_aarch64.whl

TorchVision（适用于 Jetson 平台）

sudo apt-get install libjpeg-dev zlib1g-dev libpython3-dev libavcodec-dev libavformat-dev libswscale-dev
git clone --branch v0.9.0 https://github.com/pytorch/vision torchvision
cd torchvision
export BUILD_VERSION=0.9.0
python3 setup.py install --user

安装YOLOv5 （主机）

git clone https://github.com/ultralytics/yolov5.git   （我用的最新版v5.0)

权重文件yolov5s.pt/yolov5m.pt/yolov5l.pt/yolov5x.pt放置在weights文件夹下

建议使用torch1.7以上版本。
这里主要是yolov5s版本，因为小。。。。。。。

安装DeepStream（Nano上）

执行以下命令，安装需要的软件包：

sudo apt install \
libssl1.0.0 \
libgstreamer1.0-0 \
gstreamer1.0-tools \
gstreamer1.0-plugins-good \
gstreamer1.0-plugins-bad \
gstreamer1.0-plugins-ugly \
gstreamer1.0-libav \
libgstrtspserver-1.0-0 \
libjansson4=2.11-1

下载DeepStream SDK deepstream_sdk_v5.1.0_jetson.tbz2

输入以下命令以提取并安装DeepStream SDK：

sudo tar -xvf deepstream_sdk_v5.1.0_jetson.tbz2 -C /
cd /opt/nvidia/deepstream/deepstream-5.1
sudo ./install.sh
sudo ldconfig

测试

执行命令：（编辑文件prebuild.sh，注释掉除yolov3-tiny的语句）

cd /opt/nvidia/deepstream/deepstream-5.1/sources/objectDetector_Yolo

执行命令：（下载yolov3-tiny.cfg和yolov3-tiny.weights）

./prebuild.sh

执行命令：

deepstream-app -c deepstream_app_config_yoloV3_tiny.txt

安装完后在/opt/nvidia/deepstream/deepstream-5.1/sources/objectDetector_Yolo会有一个部署yolo的官方实例代码，但只有yolov3的。

将 PyTorch 模型转换为 wts 文件【yolov5s.wts】（主机）

git clone https://github.com/wang-xinyu/tensorrtx.git

将文件tensorrtx/yolov5/gen_wts.py 复制到yolov5文件夹下。
cd 进入yolov5文件夹下
执行命令生成 yolov5s.wts 文件

python gen_wts.py weights/yolov5s.pt

将wts文件转换为TensorRT模型【yolov5s.engine】（Nano）

每次修改参数后都需要重新生成engine

克隆tensorrtx文件夹至nano板子上。

cd tensorrtx/yolov5
mkdir build
cd build
cmake ..
make

copy文件’yolov5s.wts’ 文件到tensorrtx/yolov5/build目录下
生成yolov5s.engine

sudo ./yolov5 -s yolov5s.wts yolov5s.engine s
#sudo ./yolov5 -s [.wts] [.engine] [s/m/l/x/s6/m6/l6/x6 or c/c6 gd gw]

到这一步，我们便通过tensorrt生成了基于C++的engine部署引擎文件（测试两张图片）

sudo ./yolov5 -d yolov5s.engine ../samples

注意：默认情况下，yolov5 脚本生成batch size = 1 和FP16 模式的模型。如果要更改此参数，请在编译前编辑 yolov5.cpp 文件。

#define USE_FP16  // set USE_INT8 or USE_FP16 or USE_FP32
#define DEVICE 0  // GPU id
#define NMS_THRESH 0.4
#define CONF_THRESH 0.5
#define BATCH_SIZE 1

如果你是通过修改每一层卷积的宽度和深度来达到自定义的模型的话，就可以直接使用下面的命令来达成生成引擎.

sudo ./yolov5 -s yolov5_custom.wts yolov5.engine c 0.17 0.25

我一般缩小宽度和深度来达到剪裁模型，加快运行速度的作用。这一api优化让我的调试十分的方便。
v5.0的tensorrtx库更新适配了yolov5的p6模型，如果你用的是p6模型训练，可以使用下面的命令。

sudo ./yolov5 -s ../yolov5s.wts yolov5s.engine s6 
sudo ./yolov5 -s yolov5_custom.wts yolov5.engine c6 0.17 0.25

如果需要使用自己训练的模型
修改tensorrtx/yolov5/yololayer.h
static constexpr int CLASS_NUM = 1; 修改自己的类型数量，原来是80
在tensorrtx/yolov5/目录下
编译代码
mkdir build0 #可以再建一个文件夹 ，和yolov5s区别开来
cd build0
cmake …
make
后面步骤一样

注意: by default, yolov5 script generate model with batch size = 1, FP16 mode and s model.（我使用的S网络，不需要修改）

#define USE_FP16 // comment out this if want to use FP32

#define DEVICE 0 // GPU id

#define NMS_THRESH 0.4

#define CONF_THRESH 0.5

#define BATCH_SIZE 1

#define NET s // s m l x

如果你需要改变上述默认参数，可在编译前修改文件 yolov5.cpp，还可改变yololayer.h中的参数。

static constexpr int CLASS_NUM = 80;

static constexpr int INPUT_H = 608;

static constexpr int INPUT_W = 608;

使用DeepStream部署yolov5s

先下载DeepStream-Yolo工程

git clone https://github.com/marcoslucianops/DeepStream-Yolo.git

编译 nvdsinfer_custom_impl_Yolo
拷贝yolov5 deepstream文件，即将下载的DeepStream-Yolo/external/yolov5-5.0 文件夹并将文件移动到sources下

sudo chmod -R 777 /opt/nvidia/deepstream/deepstream-5.1/sources/
cd /opt/nvidia/deepstream/deepstream-5.1/sources/
cp ..DeepStream-Yolo/external/yolov5-5.0  /opt/nvidia/deepstream/deepstream-5.1/sources/

拷贝yolov5.engine

cp /home/666/tensorrtx/yolov5/build/yolov5s.engine /opt/nvidia/deepstream/deepstream-5.1/sources/yolov5-5.0

编译
针对自己的数据集，修改config_infer_primary.txt中的参数，以及类别名称文件labels.txt。

num-detected-classes=80  # 自己的类别数
labels：fire  # 自己的类别

修改后执行：

cd /opt/nvidia/deepstream/deepstream-5.1/sources/yolov5-5.0
CUDA_VER=10.2 make -C nvdsinfer_custom_impl_Yolo

测试模型
使用我编辑过的deepstream_app_config.txt和config_infer_primary.txt文件在我的 external/yolov5-5.0 文件夹中可用

运行命令

deepstream-app -c deepstream_app_config.txt

注意：根据选择的模型，编辑 config_infer_primary.txt 文件

例如，如果您使用 YOLOv5x

model-engine-file=yolov5s.engine

到

model-engine-file=yolov5x.engine

要更改 NMS_THRESH，请编辑 nvdsinfer_custom_impl_Yolo/nvdsparsebbox_Yolo.cpp 文件并重新编译

#define kNMS_THRESH 0.45

要更改 CONF_THRESH，请编辑 config_infer_primary.txt 文件

[class-attrs-all]
pre-cluster-threshold=0.25

部署测试

测试视频文件推理

cd /opt/nvidia/deepstream/deepstream-5.1/sources/yolov5-5.0
deepstream-app -c deepstream_app_config.txt

修改测试视频的路径，在deepstream_app_config.txt文档中：
在这里插入图片描述
请添加图片描述
python版视频预测从之前的5fps提升到了20fps,人眼看不出差别了，基本可以做到实时。python yolov5_trt.py
c++部署的视频预测载入模型与预测都比python快，25fps

自己训练的火焰检测：
请添加图片描述

参考：

https://zhuanlan.zhihu.com/p/296314513

https://blog.csdn.net/hahasl555/article/details/116500763?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162948266716780264096806%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162948266716780264096806&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~hot_rank-2-116500763.pc_search_similar&utm_term=jetson+nano+yolov5&spm=1018.2226.3001.4449

https://blog.csdn.net/ailaier/article/details/116270962?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162963902316780357273353%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=162963902316780357273353&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-2-116270962.pc_search_result_control_group&utm_term=yolov5+jetson+nano&spm=1018.2226.3001.4187

https://zhuanlan.zhihu.com/p/259539097

https://blog.csdn.net/jinfagang1211/article/details/109689084?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162965292416780262569995%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162965292416780262569995&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~hot_rank-13-109689084.pc_search_similar&utm_term=jetson+nano+%E9%83%A8%E7%BD%B2yolov5&spm=1018.2226.3001.4187

https://blog.csdn.net/IamYZD/article/details/119618950?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162965292416780262569995%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162965292416780262569995&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~hot_rank-22-119618950.pc_search_similar&utm_term=jetson+nano+%E9%83%A8%E7%BD%B2yolov5&spm=1018.2226.3001.4187

https://blog.csdn.net/qq_38495194/article/details/115906666?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162965292416780262569995%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162965292416780262569995&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~hot_rank-24-115906666.pc_search_similar&utm_term=jetson+nano+%E9%83%A8%E7%BD%B2yolov5&spm=1018.2226.3001.4187
THE@JOKER
关注
  • 18
    点赞
  • 踩
  • 155
    收藏
    觉得还不错? 一键收藏
  • 39
    评论
专栏目录
yolov5-onnx-tensorrt:如何使用 TensorRT 运行 yolov5 模型
05-29
yolov5-onnx-张量 此 Repos 包含如何使用 TensorRT 运行 yolov5 模型。 Pytorch 实现是 。 将 pytorch 转换为 onnx 和 tensorrt yolov5 模型以在 Jetson AGX Xavier 上运行。 支持推断图像。 支持同时推断多幅图像。 要求 请使用torch>=1.6.0 + onnx==1.8.0 + TensorRT 7.0.0.11 运行代码 代码结构 networks代码是网络demo代码在 Jetson AGX Xavier 上运行 tensorrt 实现 ├── networks ├── utils ├── models ├── demo │ ├── demo.py | ├── demo_batch.py | ├── Processor.py | ├── Processor_Batch.py
YoloV4-ncnn-Jetson-Nano:适用于Jetson Nano的YoloV4
04-05
YoloV4-ncnn-Jetson-Nano 带有ncnn框架的YoloV4。 论文： : 专为Jetson Nano设计的产品，请参阅 基准。 模型 杰特逊纳米2015 MHz RPi 4 64-OS 1950兆赫 YoloV2（416x416） 10.1帧/秒 3.0帧/秒 YoloV3（352x352）微小 17.7帧/秒 4.4 FPS YoloV4（416x416）微小 11.2 FPS 3.4帧/秒 YoloV4（608x608）完整 0.7帧/秒 0.2帧/秒 YoloV5（640x640）小 4.0 FPS 1.6帧/秒 依赖关系。 2021年4月4日：改编为ncnn版本20210322 要运行该应用程序，您必须： 已安装腾讯ncnn框架。 代码：：已安装块。 （ $ sudo apt-get install codeblocks ） 安装应用程
DeepStream初步学习
a997897336的博客
03-14 368
在我们的家中，街道上，停车场，大型购物中心，仓库，工厂中都可以找到相机–无处不在。视频分析的潜在用途是巨大的：访问控制，防止丢失，自动结帐，监视，安全，自动检查（QA），包裹分类（智能物流），交通控制/工程，工业自动化等。它由可扩展的硬件加速插件集合组成，这些插件与低级库进行交互以优化性能，并定义了标准化的元数据结构，可实现自定义/用户特定的添加。更具体地说，DeepStream应用程序是一组模块化插件，这些插件相连接以形成处理管道。例如，解码插件与NVDEC交互，推理插件与GPU或DLA交互。
算法部署-使用TensorRT在Jetson-Nano上实现闭眼检测算法-优质算法部署项目实战.zip
03-06
算法部署_使用TensorRT在Jetson-Nano上实现闭眼检测算法_优质算法部署项目实战
jetson nano csi摄像头 tensorrt 运行yolov8检测 项目代码
05-27
jetson nano csi摄像头 tensorrt 运行yolov8检测 项目代码
算法部署-使用TensorRT在Jetson-TX2平台上部署YOLOv3-Tiny目标检测算法-优质算法部署项目实战.zip
03-05
算法部署_使用TensorRT在Jetson-TX2平台上部署YOLOv3-Tiny目标检测算法_优质算法部署项目实战
YOLOv5目标检测实战：Jetson Nano部署
04-06
PyTorch版的YOLOv5是高性能的实时目标检测方法。Jetson Nano是英伟达含有GPU的人工智能硬件。本课程讲述如何部署YOLOv5在Jetson Nano开发板上。部署完成后可进行图像、视频文件和摄像头视频的实时目标检测。部署时使用AI视频处理加速引擎TensorRT和DeepStream。 课程内容包括：原理篇（DeepStream介绍、TensorRT介绍、 tensorrtx介绍）、实践篇（Nano硬件搭建、烧录系统镜像、安装远程登录工具、安装和测试DeepStream、安装yolov5、生成yolov5s.wts文件、生成yolov5s.engine、使用DeepStream部署yolov5、Nano部署测试）
windows上yolov5的tensorrt模型推理加速
yx868yx的博客
06-25 2201
一、部署环境： WIN7 cuda 10.2 cudnn 8.0 tensorrt 7.0.011 opencv 3.4.7 cmake 3.16.5 二、生成wts模型 下载代码：yolov5 3.0 版本 和tensorrtx 3.0版本 https://github.com/ultralytics/yolov5 https://github.com/wang-xinyu/tensorrtx 将tensorrtx源码中的gen_wts.py复制到yolov5源码中并运行，生成.wts模型 安装cuda
2022-10-31如何将自己训练的yolo模型转为tensorrt相关的模型（.trt or .engine）
LJ1120142576的博客
10-31 2365
如何将自己训练的yolo模型转换成.engine模型
YOLOv5(PyTorch)目标检测实战：TensorRT加速部署
03-24
PyTorch版的YOLOv5是高性能的实时目标检测方法。 TensorRT是针对英伟达GPU的加速工具。本课程讲述如何使用TensorRT对YOLOv5进行加速和部署。   本课程的YOLOv5使用ultralytics/yolov5，分别在Ubuntu和windows10系统上做TensorRT加速和部署演示。课程内容包括：原理篇（YOLOv5网络架构与组件、TensorRT基础、TensorRT INT8量化、tensorrtx介绍、CUDA编程方法）、实践篇（Ubuntu和Windows10系统上的TensorRT部署演示）、代码解析篇（YOLOv5的TensorRT加速的代码解析） 。本课程提供注释后的YOLOv5的TensorRT加速代码。 除本课程《YOLOv5(PyTorch)目标检测实战：TensorRT加速部署》外，本人推出了有关YOLOv5目标检测的系列课程。请关注该系列的其它视频课程，包括：《YOLOv5(PyTorch)目标检测实战：训练自己的数据集》Ubuntu系统：https://edu.csdn.net/course/detail/30793Windows系统：https://edu.csdn.net/course/detail/30923《YOLOv5(PyTorch)目标检测：原理与源码解析》https://edu.csdn.net/course/detail/31428《YOLOv5(PyTorch)目标检测实战：Flask Web部署》https://edu.csdn.net/course/detail/31140
deepstream如何使用自己训练的darknet模型
安阳知秋
06-06 649
文章目录1 编译2 运行3 注意事项4 参考链接 1 编译 (1) 准备自己的模型文件 .weight .cfg .label.txt (2) 根据模型，修改对应的配置文件/opt/nvidia/deepstream/deepstream-4.0/sources/objectDetector_Yolo/config_infer_primary_yoloV3_tiny.txt [property] gpu-id=0 net-scale-factor=1 #0=RGB, 1=BGR model-co
TensorRT-使用TensorRT部署MobileNet-SSD算法-支持Jetson-TX2平台的部署-优质算法部署项目
02-28
TensorRT_使用TensorRT部署MobileNet-SSD算法_支持Jetson-TX2平台的部署_优质算法部署项目
算法部署-使用TensorRT+DeepSort+YOLOv5在NVIDIA-Jetson平台上部署目标跟踪算法-优质项目实战
最新发布
04-06
算法部署_使用TensorRT+DeepSort+YOLOv5在NVIDIA-Jetson平台上部署目标跟踪算法_优质项目实战
Yolov5 Tensorrt win10 C++ 部署2022
QiuYuSy的博客
06-22 3093
Yolov5 Tensorrt win10 C++ 部署2022
DeepStream系列之yolov5使用
ZONGXP的博客
11-02 1万+
之前介绍了在 deepstream 中使用 yolov3、yolov4 的方法，现在已经有 yolov5 了，在性能上有了很大的提升，本文对 deepstream 中使用 yolov5 的方法做一介绍
使用Tensorrt对YOLOv5目标检测的代码进行加速
u014723479的博客
05-31 1566
最近在使用YOLOv5做apex的辅助，训练代码现在是写完了，在训练场中把禁止的假人还行，但是对于移动的目标，总是出现丢帧、追不上的问题。测了一下FPS，发现我的RTX2060上面的FPS只有3到5，这基本上相当于PPT的水平，自己的硬件一时半会没办法升级，但自己真的想把这个APEX的辅助给做完，所以只好通过代码加速的方法来曲线救国。从网上查到Tensorrt对于代码的加速效果非常好，所以下面开始动手尝试。先放一张目前辅助的识别效果。
yolov5部署之七步完成tensorRT模型推理加速
热门推荐
Christo的博客
03-05 3万+
目录前言step 1. 下载yolov5源码以及tensorrtx源码，并将yolov5s.pt转为.wts模型step 2. 确定并下载自己准备使用的CUDA版本。step 3. 根据自己的CUDA版本下载对应版本的cuDNN以及TensorRTstep 4. 根据自己使用的VS版本下载对应版本的OpenCVstep 5. 安装CUDAstep 6. 安装cuDNN、TensorRT以及验证TensorRT是否安装成功 前言     前段时间研究了Pytorch的环境配置，之后便从github上下载了yo
使用DeepStream5.0部署YOLOV3，并实现多路拉流、自定义模型
CV前沿
03-30 4895
一、前言 本文介绍基于DeepStream5.0和YoloV3目标检测模型来实现车辆和行人检测的部署过程。在第二部分介绍依赖的环境；第三、四部分介绍YoloV3的样例工程和编译运行过程；第五部分介绍如何实现多路拉流；第六部分介绍如何自定义YOLOV3模型；最后是小结和参考资料。 希望本文尽可能的详细和清晰，让大家在动手尝试过程中少走弯路，一步到位。 二、环境准备 Cuda10.2 Jetpack4.4 Ubuntu18.04 DeepStream SDK >= 5.0 硬件设备我这里使用的是NVID
UNet基于deepstream部署
hello_dear_you的博客
02-13 2269
0. sample背景介绍 deepstream-segmentation-test这个例子讲解了如何在deepstream中部署语义分割算法U-Net。根据网络的输出类别，分为semantic segmentation（输出四个类别）和industrial segmentation（单类别预测）。 源码路径：/opt/nvidia/deepstream/deepstream-6.0/sources/apps/sample_apps/deepstream-segmentation-test 1. 代码
在jetson nano上tensorrt加速yolov5-6.2的具体步骤
03-05
您好，关于在Jetson Nano上使用TensorRT加速Yolov5-6.2的具体步骤，您可以按照以下步骤进行操作： 1. 安装JetPack 4.4或更高版本的软件包，其中包括TensorRT和CUDA。 2. 下载Yolov5-6.2的源代码，并将其编译为可执行文件。 3. 使用TensorRT API将Yolov5-6.2模型转换为TensorRT引擎。 4. 在Jetson Nano上运行TensorRT引擎，以加速Yolov5-6.2的推理。 希望这些步骤能够帮助您加速Yolov5-6.2的推理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 39
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值