【YOLO】模型推理&模型量化

已于 2023-08-02 12:16:51 修改
阅读量687 收藏
点赞数
分类专栏： 机器学习 文章标签： YOLO
于 2023-07-31 15:38:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37556124/article/details/132020541
版权
本文介绍了将YOLO模型从PyTorch转换为ONNX，再转化为TensorRT模型的过程，详细阐述了每个步骤，包括模型导出、Netron Viewer的使用、TensorRT的安装与模型转换，并探讨了模型的FP16和INT8量化推理，进行了性能测试。
摘要由CSDN通过智能技术生成

【YOLO】模型推理&模型量化

上一章 yolov5+TensorRT推理

文章目录

前言

目前YOLO最新的对象检测模型系列，最新版已经发展到YOLOv8, YOLOV8模型更快、更准确，具有实例分割、姿势/关键点估计和分类等增强功能。

在这里插入图片描述

一、pt转onnx模型

1.1 下载yolov5

git clone https://github.com/ultralytics/yolov5
pip install -r yolov5/requirements.txt

1.2 模型导出

--dynamic ONNX转换是否要进行批处理变量

python export.py --weights
了解本专栏 订阅专栏 解锁全文 超级会员免费看
IDONTCARE8
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
推理优化：从量化到裁剪，提高模型性能
禅与计算机程序设计艺术
12-26 162
1.背景介绍 在深度学习模型的应用中，优化模型性能至关重要。模型性能的优化主要包括两个方面：训练阶段的优化和推理阶段的优化。训练阶段的优化主要通过优化算法、优化器、学习率等手段来提高模型的准确性和训练速度。而推理阶段的优化则主要通过对模型进行压缩、剪枝等手段来提高模型的推理速度和模型大小，从而实现在资源有限的设备上进行更高效的模型推理。
YOLO1模型作业（带注释）
04-14
这通常涉及模型的优化和推理速度的提升，比如使用模型量化、模型剪枝等技术。 总的来说，YOLO1模型是目标检测领域的一个里程碑，它的设计思想和实现方式对于理解现代目标检测模型具有重要意义。通过深入研究和实践...
基于python的tensorrt int8 量化yolov5 onnx模型实现
03-26
基于python的tensorrt int8 量化yolov5 onnx模型实现
yolov3_tiny.onnx转trt采用tensorrt加速模型推理
weixin_38106878的博客
05-26 4577
既然上一篇博客都把yolov3-tiny.weights转onnx做了，推理也测了。那么呢，就再直接转个trt模型吧。这样感觉博客的内容就更加连贯了吧，实用性貌似会更加强吧。 （如果没看过yolov3-tiny转onnx这篇博客的，请点这，带你飞过去） 这篇博客的内容是接着上一篇博客写的，所以呢，这里就直接进入主题，上代码！！ 本文的目录： onnx模型转trt文件（yolov3-tiny.onnx）； 实用tensorrt进行推理； 测试推理效果（视频文件）； 首先呢，你得要安装好tensorrt，至
【KAWAKO】MNN-使用量化后的模型进行推理（c++）
本平台停止更新，后续文章将在个人博客blog.kawako.fun发布
04-29 1671
目录 下文需要include的MNN库和自带库 创建会话 输入数据 获取输入tensor 数据处理 将处理后的数据存入Tensor 运行会话 获取输出 使用CMakeLists.txt进行编译 路径目录 编译过程 下文需要include的MNN库和自带库 #include <MNN/ImageProcess.hpp> #define MNN_OPEN_TIME_TRACE #include <algorithm> #include <fstre...
算法模型在Aidlux端的模型推理测试实现详解
m0_54361461的博客
11-12 889
算法模型在Aidlux端的模型推理测试实现详解
ubuntu18一文学会Pytorch端到端网络部署Tensorrt模型推理
Stay_Foo_lish的博客
02-21 1569
本文主要以Pytorch-Unet和antipodal robotic grasping为例，讲解了如何在上述网络中部署tensorrt。通过部署这两种网络，可以举一反三学会所有端到端网络的部署方式。
TRT4-trt-integrate - 1 YOLOV5导出、编译、推理
zhuangtu1999的博客
07-19 1223
在这次过程中，warpaffine（预处理）和后处理过程都可以使用我们之前的核函数去处理，这一部分打包到GPU上的话性能会变得更高。
YOLO模型轻量化：量化技术在低功耗设备上的应用
07-19
模型量化是深度学习领域一种常用的技术，用于减少模型的大小并加速推理过程。该技术主要通过降低模型权重和激活的精度来实现，例如将原本使用32位浮点数（FP32）表示的数据转化为更低位数的形式，比如8位整数（INT8...
深度学习实践-模型部署优化实践
07-30
`yolo_deploy.py`可能是用于加载和运行YOLO模型的脚本，可能包含了模型的加载、图像预处理、目标检测和后处理逻辑。 `best.pt`是PyTorch模型的权重文件，通常是在训练过程中的最佳模型保存下来的，代表模型在验证集...
基于YOLOv7-tiny.pt模型实现opencv dnn cpp进行推理源码+说明文档.rar
04-15
1、资源内容：基于YOLOv7-tiny.pt模型实现opencv dnn cpp进行推理源码+说明文档.rar 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计，作为“参考资料”使用。 3、更多仿真源码和数据集下载列表（自行寻找自己需要的）：https://blog.csdn.net/m0_62143653?type=download 4、免责声明：本资源作为“参考资料”而不是“定制需求”不一定能够满足所有人的需求，需要有一定的基础能够看懂代码，能够自行调试，能够自行添加功能修改代码。由于作者大厂工作较忙，不提供答疑服务，如不存在资源缺失问题概不负责，谢谢理解。
yolov7量化前后onnx模型
07-12
模型量化是将原本基于浮点数的深度学习模型转换为低精度（如8位整数）表示的过程，以实现更高效的推理速度和更小的内存占用，这对于资源有限的设备（如移动设备或嵌入式系统）尤其重要。YOLOv7是一种用于目标检测的...
YOLOv5：TensorRT加速YOLOv5模型推理
FriendshipTang的博客
06-03 1724
Python、PyTorch、TensorRT、YOLOv5、目标检测
YOLO之trt推理+Diou/iou目标跟踪以及计数【附代码】
z240626191s的博客
02-21 1376
利用iou进行跟踪是比较简单的，也是目标检测中最为常用的手段，但与目标检测还是不一样，在目标检测的iou过滤中【指预测部分】，是将大于阈值的目标过滤掉，保留小于阈值的，在训练阶段是将target box与output的box iou大的保留下来表示正样本的匹配。当判断大于iou阈值的时候会将信息记录在reg_dict中，并设置is_track为True.如果是新目标的时候，target_index + 1.代码中的输入。项目的更新，在trt推理，多进程语音报警的功能中又新添加了目标跟踪【可用于目标计数】
YoloV8目标检测与实例分割——目标检测onnx模型推理
热门推荐
知来者逆的博客
11-05 1万+
yolov8目标检测onnx模型推理，不安装过多依赖，更好的部署到生产环境
dali预处理-yolov5trt推理-pytorch后处理-nvidia-triton部署
weixin_43645801的博客
12-26 1302
triton-yolov5搭建
yolov5三种TensorRT推理过程
mddCSDN的博客
02-20 618
4、把生成的yolov5l_best.wts文件导入\tensorrtx-yolov5-v5.0\yolov5\build\Release文件下，使用指 令yolov5.exe -s yolov5l_best.wts yolov5l_best.engine l 通过yolov5.exe生成yolov5l best.engine，参数l根据训练模型来改，可以是s\m\I\x。
一个识别闯红灯的项目（修改Detect.py文件，搭建Yolov5识别GUI）
weixin_63132747的博客
05-22 1138
将Yolov5的Detect.py文件当作函数调用，结合Pyqt5搭建简易识别GUI
基于轻量级YOLOv5的反光衣检测识别分析系统（可用于智慧工地等场景）
最新发布
2401_83580557的博客
08-09 257
在建筑工地、道路施工以及其他高风险工作环境中，穿戴反光衣是确保工人安全的重要措施之一。然而，由于工地环境复杂多变，人工监督难以做到无遗漏。因此，开发一套能够自动检测工作人员是否穿着反光衣的系统显得尤为重要。
yolo5 onnxruntime c++推理
05-01
使用ONNXRuntime进行模型推理的过程大概分为三步：模型加载、输入数据准备和推理计算。首先要加载YOLO5模型，即读取模型文件并构建模型对象。接着需要准备输入数据，包括图像数据、图像大小等信息，以及对数据进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IDONTCARE8

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值