在NVIDIA Jetson Nano上部署YOLOv5算法，并使用TensorRT和DeepStream进行加速

已于 2024-05-22 20:57:28 修改
阅读量1.8k 收藏 13
点赞数 9
文章标签： YOLO ubuntu linux python
于 2024-05-22 14:24:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18677445/article/details/139119276
版权

部署YOLOv5算法在NVIDIA Jetson Nano上并使用TensorRT和DeepStream进行加速涉及几个关键步骤。下面是一个详细的指南：

步骤 1: 准备YOLOv5模型

训练或下载预训练模型：首先，你需要有一个YOLOv5模型。你可以自己训练一个模型，或者使用从YOLOv5的GitHub仓库下载的预训练模型。

git clone -b v7.0 https://github.com/ultralytics/yolov5.git

进入yolo目录

cd yolov5

下载权重：

wget https://github.com/ultralytics/yolov5/releases/download/v7.0/yolov5s.pt

这将下载一个yolov5.pt文件

转换模型格式：YOLOv5默认使用PyTorch框架。为了使用TensorRT优化，你需要将PyTorch模型转换成ONNX格式。使用以下命令可以完成这一转换：

python export.py
最低0.47元/天 解锁文章
科技人生
关注
jetson-nano使用tensorrt部署yolov5
xiao__run的博客
05-21 1万+
项目前景 近期碰到很多项目，都是低硬件成本，在英伟达平台部署。英伟达平台硬件平常见到算力从小到大依次为 jetson-Nano、jetson-tk1、jetson-TX、jetson-xavier,加个从1000到10000不等，正好小编我全部都入手了一套,而且英伟达有个很好的量化的工具tensorrt. tensorrt有个很好的学习资源，大家可以参考学习下 感谢这位开源的大佬 https://github.com/wang-xinyu/tensorrtx Jetson-nano具备环境 open
【AI】YOLOv7部署在NVIDIA Jetson TX2上
郭老二
05-11 1530
演示AI如何部署在嵌入式设备，如NVIDIA Jetson TX2上，以DarkNet部署YOLOv7、YOLOv7-tiny为例
YOLO剪枝模型部署到边缘终端设备jeston-orin-nano方法
m0_49534117的博客
11-10 692
在网络层实现过程中通常会需要一些临时的工作空间，这个属性会限制最大能申请的工作空间的容量，如果容量不够的话会导致该网络层不能成功实现而导致错误。对象中，我们可以将其保存到磁盘中，下次使用时直接加载这个经过优化的模型即可，这样就可以省去漫长的等待模型优化的过程。对图像做目标检测，在将图像输入给模型之前还需要做一定的预处理操作，预处理操作应该与模型训练时所做的操作一致。属性后，就可以启动优化引擎对模型进行优化了，这个过程需要一定的时间，在嵌入式平台上可能会比较久一点。对象保存了模型所有的信息，所以前面创建的。
Jetson系列: tensorrt-python推理yolov5（一）
最新发布
weixin_55083979的博客
03-08 1202
2.使用trtexec模型工具将模型序列化成tensorrt框架能够加载的二进制文件，后缀名随意常见的是*.trt或者*.engine，下面是fp32和fp16两种格式的engine文件本地序列化。在使用tensorrt进行加速之前需要将自己的torch模型转为onnx格式的，这个操作很基础就不赘述了，自己根据自己的任务、部署设备选择合适的batch/infersize/opset。使用加载的model创建tensorrt模型推理上下文context。tensorrt二进制文件加载。
Jetson Nano部署YOLOv5与Tensorrtx加速
君莫笑的博客
12-01 6139
Jetson Nano部署YOLOv5与Tensorrtx加速
jetson nano 运行 yolov5 ( tensorRT 加速， FPS＞25)
delpanz的博客
10-09 7212
jetson nano 运行 yolov5， FPS>25
Jetson Nano B01部署YOLOv5项目全流程（五）TensorRT加速配置
人工智能
08-22 2207
五、TensorRT加速配置，主要包含Pycuda安装以及TensorRT加速。这里我们用自己的项目为例，使用YOLOv5自带的export.py文件进行engine文件转换，实现给自己的模型加速。
零基础入门Jetson Nano——Yolov5+TensorRT+Deepstream
qq_56548850的博客
04-18 1万+
yolov5+tensorrt+deepstream嵌入式平台加速推理目标检测。
Jetson nano上部署自己的Yolov5模型（TensorRT加速）
热门推荐
ailaier的专栏
04-30 3万+
背景 在主机上训练自己的Yolov5模型，转为TensorRT模型并部署到Jetson Nano上，用DeepStream运行。 硬件环境： RTX 2080TI主机 Jetson Nano 4G B01 软件环境： Jetson Nano: Ubuntu 18.04 Jetpack 4.5.1 DeepStream 5.1 主机： Ubuntu 18.04 CUDA 10.2 yolov5 5.0 训练模型（主机上） yolov5项目链接https://github.com/
Ultralytics YOLOv8 英伟达™ Jetson®处理器部署
weixin_46300916的博客
04-22 3339
英伟达™（NVIDIA®）Jetson 是一系列嵌入式计算板卡，旨在为边缘设备带来加速的 AI（人工智能）计算。这些小巧而功能强大的设备围绕英伟达™（NVIDIA®）的GPU架构打造，能够直接在设备上运行复杂的人工智能算法和深度学习模型，而无需依赖云计算资源。Jetson 板卡通常用于机器人、自动驾驶汽车、工业自动化和其他需要在本地以低延迟和高效率执行人工智能推理的应用中。此外，这些板卡基于 ARM64 架构，与传统 GPU 计算设备相比运行功耗更低。英伟达™（NVIDIA®）JetPack SDK。
使用DeepStream5.0部署YOLOV3，并实现多路拉流、自定义模型
CV前沿
03-30 5189
一、前言 本文介绍基于DeepStream5.0和YoloV3目标检测模型来实现车辆和行人检测的部署过程。在第二部分介绍依赖的环境；第三、四部分介绍YoloV3的样例工程和编译运行过程；第五部分介绍如何实现多路拉流；第六部分介绍如何自定义YOLOV3模型；最后是小结和参考资料。 希望本文尽可能的详细和清晰，让大家在动手尝试过程中少走弯路，一步到位。 二、环境准备 Cuda10.2 Jetpack4.4 Ubuntu18.04 DeepStream SDK >= 5.0 硬件设备我这里使用的是NVID
目标检测：Jetson Nano配置YOLOv11环境（Pycharm）
Y_147369的博客
01-08 3542
实现了在jetson nano上面配置YOLOv11并且成功使用TensorRT加速推理，因为jetson nano资源有限，YOLOv11模型较大，所以在测试中使用USB摄像头跑yolo11n.pt时FPS大概在7~12，后续会提到一些优化方法。由于jetson nano的局限性，使得在环境部署上面成为一个麻烦，另外在显存上，由于模型较大，很容易出现溢出，也是一个麻烦，本文将记录部署到YOLO运行的过程
Jetson Nano部署YOLOv5与Tensorrtx加速——（自己走一遍全过程记录）
Mr_LanGX的博客
11-30 3万+
Jetson Nano部署YOLOv5与Tensorrtx加速
Jetson Nano TensorRT C++加速 YOLOV5，集成进qt项目中
rglkt的博客
08-17 4918
环境前提：搭建好YOLOv5所需环境，Jetson Nano自带了tensorRT环境。进入正题，首先是tensorrtx 项目的使用。
【Yolo】Jetson Orin Nano下部署 YoloV5
jam12315的专栏
04-21 1万+
在Jetson Orin Nano CLB上安装Yolo v5有必要记录一下过程，以便后续无脑重装，让我们开始。
在英伟达 jeason nano配置yolov5
laoli_的博客
12-07 1943
伟达 jeason nano配置yolov5
jetson nano yolov5
luoganttcc的博客
12-06 582
Yolov5学习笔记(2)——部署在jetson nano上 tensorrtx 3.利用TRT加速部署模型 3.1下载tensorrtx的源码 很高兴你能来到这里，到这里已经完成了一半，是不是觉得很麻烦，别担心，当你完成了部署结果一定会让你很兴奋的 进入tensorrtx的官网，下载你训练时对应的yolov5的版本，点击左上角的master–>tags–>yolov5 ...
Jetson Nano Yolov5+tensorrt设置说明
happylearnerjsy的博客
12-29 4232
Jetson Nano Yolov5+tensorrt设置说明
使用yolov5训练自己的目标检测模型并部署在Jetson Nano上使用tensorrt加速推理
wtlll的博客
04-18 2970
如下图所示，当我们选定目标以后，就会加载出来predefined_classes.txt 定义自己要标注的所有类别（如果类别多，是真的很方便，就不需要自己手打每个类别的名字了）。通过如下的图可以获得权重的名字和大小信息，可以预料的到，预训练权重越大，训练出来的精度就会相对来说越高，但是其检测的速度就会越慢。选择一个模型，在yolov5目录下的model文件夹下是模型的配置文件，有n、s、m、l、x版本，逐渐增大（随着架构的增大，训练时间也是逐渐增大）。我们打开命令终端，在中输入如下的命令，就可以安装了。
在NVIDIA Jetson Nano上利用YOLOv5和DeepSORT进行实时目标跟踪时，如何进行算法优化和C++实现以达到高效性能？
10-31
要在NVIDIA Jetson Nano上实现YOLOv5和DeepSORT的实时目标跟踪并优化算法，你需要了解如何集成和优化这些模型来适应边缘设备的计算能力。推荐你参考《NVIDIA Jetson上实现YOLOv5与DeepSORT的实时目标跟踪》一文，该文详细介绍了在Jetson Nano上部署和优化YOLOv5与DeepSORT的过程。 参考资源链接：[NVIDIA Jetson上实现YOLOv5与DeepSORT的实时目标跟踪](https://wenku.csdn.net/doc/3wiqm6fyj6) 首先，你需要安装YOLOv5的依赖环境，并使用TensorRT对YOLOv5进行优化。由于YOLOv5是用Python编写的，你需要将其转换为C++环境中的推理模型。TensorRT能帮助你通过层融合、核函数优化和精度校准等技术显著提升模型在Jetson Nano上的运行速度。 接着，对于DeepSORT，你需要将其算法逻辑用C++重新实现，并确保它能够高效地处理YOLOv5检测到的目标。在此过程中，你可能会遇到数据类型转换、内存管理等挑战，特别是在Jetson Nano这样的资源受限设备上。 在C++实现过程中，你还需要考虑如何利用Jetson Nano的GPU和NVIDIA CUDA核心，尽可能地并行化计算任务。此外，你可能还需要对算法中的数据结构和算法流程进行调整，以适应边缘计算设备的计算资源。 最后，由于实时目标跟踪对性能的要求极高，你需要进行详细的性能测试，分析瓶颈，并不断调整和优化你的代码。这包括但不限于减少不必要的计算，优化内存访问模式，以及调整线程池大小等。 综上所述，通过《NVIDIA Jetson上实现YOLOv5与DeepSORT的实时目标跟踪》提供的指导，你可以有效地在Jetson Nano上实现并优化YOLOv5和DeepSORT的实时目标跟踪。建议你在实现过程中，结合Jetson Nano的硬件特性，深入理解YOLOv5和DeepSORT的工作原理，并通过实验不断优化你的实现方法。 参考资源链接：[NVIDIA Jetson上实现YOLOv5与DeepSORT的实时目标跟踪](https://wenku.csdn.net/doc/3wiqm6fyj6)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值