YOLOv5 转 Tensor RT

最新推荐文章于 2022-09-04 23:12:00 发布
最新推荐文章于 2022-09-04 23:12:00 发布
阅读量1k 收藏 5
点赞数 2
分类专栏： 论文研究、复现、总结 模型部署、加速、优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/magic_shuang/article/details/118797086
版权

目录

step1:pt 模型转成 onnx

step2:查看输出的onnx模型

step3:onnx-simplifier 简化模型

step4:tensorRT安装

step5:onnx模型转trt模型

step1:pt 模型转成 onnx

yolov5/model/export.py

输出模型：

  • XXX.onnx
  • XXX.torchscript.pt

step2:查看输出的onnx模型

安装 netron

pip install netron

用netron看模型 

import netron
netron.start('best.onnx')

step3:onnx-simplifier 简化模型

安装 onnx-simplifier 

pip install onnx-simplifier

简化模型

python -m onnxsim best.onnx best_sim.onnx

step4:tensorRT安装

nvidia官网上找自己的版本 ,下载deb文件

dpkg -i nv-tensorrt-XXXX.deb
sudo apt-get update
sudo apt-get install tensorrt

step5:onnx模型转trt模型

转化 

/usr/src/tensorrt/bin/trtexec --onnx=./checkpoint/last.onnx --saveEngine=./checkpoint/last.trt

测试（未简化的模型）

float32 模型 推理速度0.01 占内存 3.15G

float16 模型 推理速度0.01 占内存 2.5G     精度几乎没变化

float8   模型 推理速度0.01 占内存 2.21G   精度有变化，但是可以接受

magic_shuang
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
YOLOv5模型转ONNX,ONNX转TensorRT Engine
小豆包的博客
01-11 4303
YOLOv5转ONNX,ONNX转Engine ,接下来是了解TensorRT插件，Int8量化流程。
yolov5-onnx-tensorrt:如何使用 TensorRT 运行 yolov5 模型
05-29
yolov5-onnx-张量 此 Repos 包含如何使用 TensorRT 运行 yolov5 模型。 Pytorch 实现是 。 将 pytorch 转换为 onnx 和 tensorrt yolov5 模型以在 Jetson AGX Xavier 上运行。 支持推断图像。 支持同时推断多幅图像。 要求 请使用torch>=1.6.0 + onnx==1.8.0 + TensorRT 7.0.0.11 运行代码 代码结构 networks代码是网络demo代码在 Jetson AGX Xavier 上运行 tensorrt 实现 ├── networks ├── utils ├── models ├── demo │ ├── demo.py | ├── demo_batch.py | ├── Processor.py | ├── Processor_Batch.py
yolov5转tensorrt模型
JulyLi2019的博客
08-20 5887
系列文章目录 文章目录系列文章目录前言一、生成.wts文件1.1 下载源码与模型1.2 生成yolov5s.wts文件二、build and run2.1 build2.2 run总结 前言 部署时，为了提高推理效率，通常不直接使用训练生成的pt模型，而是把pt模型转换成可以通过tensorrt加速推理的engin文件。 一、生成.wts文件 1.1 下载源码与模型 本文以yolov5s v5.0版本为例，给同学们做演示。 下载源码，可以使用git，当然也可以下载压缩包解压，本文使用git方法： g
yolov5训练与tensorrt模型转换
Ayu___的博客
06-20 1570
参考：https://github.com/ultralytics/yolov5 3、准备自己的数据集（VOC格式） （1）创建vehicle_dataset文件夹（名字可以自定义），目录结构如下，将之前labelImg标注好的xml文件和图片放到对应目录下 vehicle_dataset –labels #存放标注转换格式后的txt文件（后面再进行生成） –images # 存放图片 –Annotations # 存放图片对应的xml文件 –ImageSets/Main #之后会在Main文件夹内自动生
yolov5的tensorrt加速转换
weixin_36723038的博客
04-28 655
一.前期工作 转化源码：tensorrt-yolov5 1.确定自己使用的YOLO是哪个版本 2.确定自己训练模型的类别 3.确定自己训练模型是使用的预训练模型是哪个对应的YOLOv5的那个版本 参数对应的模型网络层，要和预训练模型对应 权重文件下载路径： 不同的版本的权重文件，版本要对应 https://github.com/ultralytics/yolov5/tags 二.模型转换 1.下载对应的tensorrt转换代码和容器运行代码 https://github.com/wang-xiny
自己训练的yolov5模型转ONNX转trt（记录）
weixin_41828075的博客
06-17 2436
1.模型导出ONNX 在官方提供的代码中改了两句，输入和模型都加载CPU上，否则报错模型是tensor输入不是或者输入是tensor模型不是。 opset_version = 10这里需要注意，设置太大或太小都转换不成功，第一次设置11的时候转trt不成功，改为10的话就没问题了。 """Exports a pytorch *.pt model to *.onnx format Usage: import torch $ export PYTHONPATH="$PWD" &
关于yoloV8使用tensort加速
09-21
5. 预测： 使用训练得到的模型对单张图片或整个目录进行预测，模式设置为 `predict`。 6. 模型转换： `gen_wts.py` 脚本用于将 PyTorch 模型权重（.pt）转换为 Darknet 格式的权重（.wts），这是 TensorRT 需要的...
基于YOLOv8改进TensorRT加速（代码+说明文档）.rar
05-11
1、资源内容：基于YOLOv8改进TensorRT加速（代码+说明文档）.rar 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计，作为“参考资料”使用。 3、解压说明：本资源需要电脑端...
使用TensorRT C++部署YOLOv10实现GPU加速-C++源码与模型
最新发布
06-04
YOLOv10是清华大学研究人员近期提出的一种实时目标检测方法，通过消除NMS、优化模型架构和引入创新模块等策略，在保持高精度的同时显著降低了计算开销，为实时目标检测领域带来了新的突破。 该代码将演示如何使用...
jetson nano csi摄像头 tensorrt 运行yolov8检测 项目代码
05-27
5. **.cpp文件（yolov8.cpp）**: 这是C++源代码文件，可能包含了实现Yolov8目标检测的算法逻辑，或者与TensorRT集成的部分。 6. **.engine文件（yolov8s.engine、yolov8s_end2end.engine）**: TensorRT引擎文件，...
yolov5训练以及模型onnx转换
10-13
目标检测工程备份
基于YOLOv5改进torch、trt和onnxruntime（源码）.rar
04-15
1、资源内容：基于YOLOv5改进torch、trt和onnxruntime（源码）.rar 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计，作为“参考资料”使用。 3、更多仿真源码和数据集下载列表（自行寻找自己需要的）：https://blog.csdn.net/m0_62143653?type=download 4、免责声明：本资源作为“参考资料”而不是“定制需求”不一定能够满足所有人的需求，需要有一定的基础能够看懂代码，能够自行调试，能够自行添加功能修改代码。由于作者大厂工作较忙，不提供答疑服务，如不存在资源缺失问题概不负责，谢谢理解。
Pytorch通过保存为ONNX模型转TensorRT5的实现
09-16
主要介绍了Pytorch通过保存为ONNX模型转TensorRT5的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
yolov5_tensorRT:yolov5 pth转换张量和推论
05-08
yolov5_tensorRT 1.Export tensorrt model git clone https://github.com/ycdhqzhiai/yolov5_tensorRT cd yolov5_tensorRT pip install -r requirements.txt 复制export.py到原始仓库models目录下 python models/export.py 生成yolov5s.onnx,拷贝到weights目录下 2.run demo python main.py 3.tensorrt int8 convert python convert_int8.py --onnx_file weights/yolov5s.onnx --data_path $your coustom datasets
YOLOV5、YOLOV7使用onnx转tensorrt(engine)
weixin_38252409的博客
09-04 599
近几日完成ResNet相关实现engine方法，但仅仅基于基于简单分类网络实现转换，且基于Tensorrt C++ API 构建YLOV5实现engine转换相关资料较多，然调用ONNX解析转换engine相关资料较少,因此本文将介绍如何使用onnx构建engine，并推理。 ...
yolov5 PyTorch模型转TensorRT
linghu8812的博客
10-27 1万+
文章目录yolov5 PyTorch模型转TensorRT1. github开源代码2. PyTorch模型转ONNX模型3. ONNX模型转TensorRT模型3.1 概述3.2 编译3.3 运行4. 推理结果 yolov5 PyTorch模型转TensorRT 1. github开源代码 yolov5 TensorRT推理的开源代码位置在https://github.com/linghu8812/onnx_trt_deploy/tree/master/yolov5，PyTorch转onnx的代码见从原作
YOLOv5导出onnx、TrensorRT部署（LINUX）
qq_40198848的博客
07-24 5911
yolov5转TensorRT部署
YOLO v5 pt模型转onnx和tensort
m0_59113065的博客
09-17 3912
pt模型转onnx yolov5自带转onnx python models/export.py --weights runs/exp12/weights/best.pt --img 640 --batch 1 安装onnx模型简化库onnx-simplifier pip install onnx-simplifier 简化onnx模型 python -m onnxsim best.onnx best-sim.onnx ...
yolov5模型转到TensorRT中推理（踩坑踩到吐血）
热门推荐
卟灵卟灵哒的博客
09-18 1万+
方法一 pt转onnx，onnx转到TensorRT 1.pt转onnx pytorch自带的函数 import torch from models.yolo import Model import onnx nc = 37 device = torch.device('cuda:0') ckpt = torch.load(r'E:\yolov5-master\runs\exp0\weights\best.pt', map_location=device) # 加载模型 model = Model(r'
yolov5 tensor 后处理
05-30
YoloV5的Tensor后处理主要包括三个步骤：解码、筛选和绘制边界框。 1. 解码：将模型输出的Tensor转换为实际的边界框坐标和类别概率值。 2. 筛选：根据置信度阈值和非极大值抑制（NMS）算法，筛选出最终的边界框。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值