Jetson nano上使用trt部署自己训练的YOLOv5模型(亲测可用!!)

yolov5的github链接:GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite

TensorRT下载链接:tensorrtx/yolov5 at master · wang-xinyu/tensorrtx · GitHub


查看自己使用的yolov5版本

以yolov5s为例,打开文件yolo-master/models/yolov5s.yaml查看yolov5版本


下载trt并导出wts格式模型文件

链接tensorrtx/yolov5 at master · wang-xinyu/tensorrtx · GitHub可查看yolov5对应版本的trt并下载

下载trt得到tensorrtx文件夹,将tensorrtx/yolov5/gen_wts.py拷贝至yolov5项目根目录下

执行命令生成wts文件

python gen_wts.py yolov5/runs/train/exp4/weights/best.pt

运行完毕之后会生成一个.wts文件放到tensorrtx/yolov5/目录下


Ubantu部署

在ubantu上也克隆一个tensorrtx项目

将生成的.wts拷贝到tensorrtx/yolov5/下

修改tensorrtx/yolov5/yololayer.h中

static constexpr int CLASS_NUM = 4;  (我自己的类别为4)

在tensorrtx/yolov5/目录下打开终端,编译代码

mkdir build
cd build
cmake ..
make

将.wts文件转为.engine文件

./yolov5 -s ../best.wts ../best.engine s    (n/s/m/l/x/n6/s6/m6/l6/x6 or c/c6 gd gw)

执行推理任务

./yolov5 -d ../best.engine ../images

执行完在build目录生成检测完成的图片

使用python推理,编辑tensorrtx\yolov5中的yolov5_trt.py或者yolov5_trt_cuda_python.py使用python推理。

若能帮到您的话,点赞评论吧!!

 

 

YOLOv8是一种基于深度学习的目标检测模型,其设计旨在提高目标检测的速度和精度。而TRT(TensorRT)则是NVIDIA提供的一款高性能推理优化工具,用于加速深度学习模型的运行速度。 ### YOLOv8模型 YOLOv8模型是YOLO系列的最新版本,它采用了更先进的神经网络架构和技术,如Pyramid Attention Networks (PAN) 和 EfficientNet,以提升检测性能。相比之前的Yolo模型,YOLOv8通常能提供更快的检测速度和更高的准确度。 ### TRT加速原理 TensorRT通过对预先训练好的模型进行优化,可以显著加快模型在GPU上的推理速度。这个过程涉及静态图优化、内存优化以及算法优化等步骤: 1. **静态图优化**:TensorRT将模型转换成静态计算图,避免了动态执行过程中需要频繁查找操作和变量的问题,提高了执行效率。 2. **内存优化**:TensorRT对模型中的张量进行了布局优化,并利用共享内存和高速缓存减少内存访问时间。 3. **算法优化**:通过硬件特定的优化技术,比如利用GPU特有的并行处理能力,以及优化卷积和批标准化等常用运算的执行路径,进一步提升了模型的运行效率。 ### 将YOLOv8模型应用到TRT加速的流程 1. **模型训练与准备**:首先,你需要使用合适的训练数据集和配置文件来训练YOLOv8模型,生成权重文件。 2. **模型转换**:使用TensorFlow、PyTorch等框架提供的API,将训练好的模型导出,然后使用TensorRT的`convert_to_trt.py`脚本或者其他SDK函数将其转换为优化后的ONNX或TF Lite格式。 3. **创建引擎**:借助TensorRT SDK,通过指定模型输入和输出信息,以及所需的优化策略(如FP16混合精度),构建一个具体的TensorRT引擎。这一步骤会将模型结构和参数映射到特定硬件上,以便后续的快速推理。 4. **推理与部署**:最后,在实际应用中加载该引擎,将图像或其他输入数据传入模型进行推理,利用TRT的高效执行特性获得结果。 ### 相关问题: 1. TRT加速如何影响YOLOv8的实际应用性能? 2. 使用TRT进行YOLOv8模型加速的步骤有哪些关键点需要注意? 3. TRT是否支持所有类型的GPU?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值