yolov5使用openvino量化后的推理速度对比

已于 2024-04-18 14:34:23 修改
阅读量349 收藏 6
点赞数 9
分类专栏： model_compression 文章标签： YOLO openvino 人工智能
于 2023-12-04 12:50:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_60943902/article/details/134781058
版权

直接使用yolov5 detect.py

量化后的int8模型
weight:'/mnt/bb/yc/yolov5/runs/train/exp63/weights/last_openvino_model'

soruce:'/mnt/bb/yc/datasets/pro_data4/images/train/82fb466dc9a61953bc4e1267ab3691aa.jpg'

method:yolov5-detect.py

在这里插入图片描述

未量化的f32模型

参数如下

weight:'/mnt/bb/yc/yolov5/runs/train/exp63/weights/best_openvino_model'

soruce:'/mnt/bb/yc/datasets/pro_data4/images/train/82fb466dc9a61953bc4e1267ab3691aa.jpg'

method:yolov5-detect.py

推理效果

在这里插入图片描述

未量化的f32的pt模型

参数如下

weight:'/mnt/bb/yc/yolov5/runs/train/exp63/weights/best.pt'

soruce:'/mnt/bb/yc/datasets/pro_data4/images/train/82fb466dc9a61953bc4e1267ab3691aa.jpg'

method:yolov5-detect.py

推理效果

在这里插入图片描述
总结

weightpre-processinferencenms
openvino_int88.4ms9.7ms2.5ms
openvino_f327.0ms23.1ms3.1ms
pytorch_f326.9ms63.4ms3.4ms
检测效果

openvino_int8

openvino_int8
openvino_f32
在这里插入图片描述
pytorch_f32
在这里插入图片描述

BTU_YC
关注
  • 9
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
算法部署-使用OpenVINO+C++部署YOLOX+YOLOV5+V8+V9目标检测算法-支持fp32+fp16+int8推理
04-26
算法部署_使用OpenVINO+C++部署YOLOX+YOLOV5+V8+V9目标检测算法_支持fp32+fp16+int8推理_项目源码_优质项目实战
【YOLOv5最新6.1在OpenCV DNN、OpenVINO、ONNXRUNTIME上推理对比】
weixin_42483745的博客
05-15 3370
文章目录引言YOLOv5推理速度比较代码实现与说明 引言 我把YOLOv5最新版本的模型分别用OpenCV DNN（Python、C++）部署、OpenVINO（Python、C++）部署、ONNXRUNTIME-GPU（Python、C++）部署，然后还测试了CPU/GPU不同平台上的运行速度比较。 软件版本与硬件规格 测试用的硬件与软件信息： GPU 1050Ti CPU i7八代 OS：Win10 64位 OpenVINO2021.4 ONNXRUNTIME：1.4 OpenCV4.5.4 Pyt
YOLOv8在PyTorch、ONNXRuntime、OpenVINO框架下的推理性能对比
Renascence_6的博客
01-26 986
YOLOv8是一个广泛使用的目标检测、图像分割工具，笔者在机器人感知任务中也曾有所应用。目前深度学习的部署框架也有很多，各有优势，这里针对三个常用的部署框架：PyTorch、ONNXRuntime、OpenVINO对YOLOv8的推理进行一个资源占用和推理效率的比较。
全新剪枝框架 | YOLOv5模型缩减4倍，推理速度提升2倍
CV_Autobot的博客
03-09 4047
作者|小书童 编辑| 集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【目标检测】技术交流群后台回复【2D检测综述】获取鱼眼检测、实时检测、通用2D检测等近5年内所有综述！自动驾驶车辆中使用的目标检测器可能具有较高的内存和计算开销。在本文中介绍了一种新的半结构化剪枝框架R-TOSS，它克服了现有模型剪枝技术的缺点。JetsonTX2上的实验结果...
【深度学习】1. yolov5 推理速度和batchsize的增长关系，推理并行处理多张图片，显存如何手动释放
weixin_40293999的博客
07-05 5459
yolov5的detect.py 是默认batchsize=1的，而直接修改batchsize为更大的值，会使detect.py 不工作.因此本篇文章想解决两个问题：1.设置多大的bz合适2.如何修改detect.py 使其满足自定义的bz。
目标检测笔记(二)：测试YOLOv5各模块的推理速度
源的博客
02-22 3827
检测YOLOV5的SPP和SPPF和推理性能 from common import SPP,SPPF import torch.nn as nn import torch,time,thop def time_synchronized(): # pytorch-accurate time if torch.cuda.is_available(): torch.cuda.synchronize() return time.time() def profile(x,
【详细案例】yoloV5 tensorRT加速 C++图片推理
qq_38276941的博客
10-06 2975
@TOC 前言 因部署jetson nano需要，以yolov5为例提供一种tensorRT加速推理的实例。python训练出来的神经网络权重文件pt如果想要应用到实际设备上，需要进行权重文件的转换工作：pt -> onnx -> engine(TensorRT)，加载engine文件可以更流畅的运行推理，这在预测模型移植到小型设备上是有必要的工作。 项目文件已上传至github源码 一、权重文件pt转onnx onnx是一种通用神经网络文件，使用这种文件格式可脱离pytorch、te
yolov8量化部署（基于openvino和tensorrt）
06-11
通过阅读链接中的文章（https://blog.csdn.net/taifyang/article/details/131158445），你可以了解如何使用OpenVINO和TensorRT将Yolov8模型进行量化部署，以及如何处理C++和Python代码以进行推理。该文章应该包含了...
算法部署-使用OpenVINO部署YOLOv4系列目标检测算法-支持INT8量化加速-项目源码-优质项目实战.zip
04-24
通过这个项目，你可以了解到如何将高级的计算机视觉算法如YOLOv4部署到实际应用中，并利用OpenVINO实现高效的INT8量化推理。这个过程不仅对开发者有益，也是深入理解深度学习模型部署和优化的重要实践。
算法部署-使用Openvino部署YOLOv4目标检测算法-支持INT8量化-优质算法部署项目实战.zip
03-14
在本项目实战中，我们将深入探讨如何利用OpenVINO（开放视觉推理库）来部署YOLOv4目标检测算法，并支持INT8量化。这是一项重要的技术，它将帮助提升算法在实际应用中的运行效率和速度，同时降低硬件资源的需求。 ...
yolov8s-detect-openvino-model.rar
10-25
《YOLOv8s-Detect模型与OpenVINO深度学习框架的结合应用》 YOLO（You Only Look Once）是一种高效、实时的物体检测算法，它以其快速的检测速度和良好的准确性而广受关注。YOLO系列算法经过多次迭代升级，最新的版本...
Yolov5对本地视频进行推理时，实现跳帧检测，提高推理效率
王探长的博客
08-21 1万+
使用Yolov5的detect.py对本地视频进行推理时，可以考虑设置跳帧检测。
【教程】LabVIEW YOLOv5 ONNXRuntime推理，封装DLL实现模型并行推理（支持CPU/GPU，x86/x64位），视频图片识别快速稳定，CPU速度100ms，GPU26ms，Lab
最新发布
XyjUuqmklkF的博客
06-22 408
通过本文的学习，读者可以更好地理解如何在LabVIEW中使用YoloV5模型进行目标检测推理，并能够根据实际需求进行相应的优化和调整。通过将复杂的算法封装为DLL文件，并在LabVIEW中进行调用，我们可以更加便捷地进行工程应用开发。labview yolov5 onnxruntime推理，封装dll, labview调用dll，支持同时加载多个模型并行推理，可cpu/gpu, x86/x64位，识别视频和图片，cpu速度100ms，gpu26ms，只需要替换模型的onnx和nameclass即可。
LabVIEW YOLOv5 TensorRT（王星宇版）封装DLL，支持多个模型并行推理，速度6ms内，视频和图片识别，LabVIEW YOLOv5 TensorRT（王星宇版）：高速并行推理，支持
ovGTuVoC的博客
06-22 789
labview yolov5 tensorrt(wangxingyu版)推理，封装dll, labview调用dll，支持同时加油多个模型并行推理，识别视频和图片，速度6ms内，模型需要pt->wts->engine, 由于不同电脑和平台需要重新wts->engine，所以包含一个wts模型转engine软件，只需要替换模型的engin和nameclass即可。为了实现LabVIEW对Yolov5模型的调用和并行推理，我们将封装好的DLL通过LabVIEW的调用节点集成到LabVIEW程序中。
pytorch 38 对tensorRT、openvino、onnxruntime（fp32、fp16）推理速度进行对比
a486259的博客
04-17 3624
tensorRT与openvino部署模型有必要么？本博文对tensorRT、openvino、onnxruntime推理速度进行对比，分别在vgg16、resnet50、efficientnet_b1和cspdarknet53四个模型进行进行实验，对于openvino和onnxruntime还进行了cpu下的推理对比。对比囊括了fp32、fp16两种情况。在float32下通过实验得出：openvino GPU < onnxruntime CPU
YOLOv5s部署在瑞芯微电子RK3399Pro中使用NPU进行加速推理
热门推荐
weixin_42200352的博客
08-19 1万+
0. 前言： 本文介绍了YOLOv5s算法在国产瑞芯微电子RK3399ProD上的部署推理，介绍整个的流程，并基于YOLOv5和RK3399Pro简单的介绍下RKNN的接口使用，并记录一些踩过的坑，希望能帮助到大家，避免踩坑。本文仅做交流使用，文中有什么理解的不到位的或者谬误，也希望大家能够交流下。 1. 部署流程 在服务器端或者电脑端进行训练，训练完成后将.pt文件转换成ONNX格式 电脑端使用rknn-toolkit1.6.0将ONNX模型转换成RKNN模型 RK3399Pro中进行模型推理
YOLOV5部署性能比较 opencvDNN /ONNX onnxruntime/ Openvion 2022.1
hong3731的专栏
03-30 9904
测试场景： 在WIN10的平台，测试了几种部署工具的性能比较，非官方数据，只是记录了测试的时间 1.硬件平台 CPU Intel Core I7 9850-H @2.6GHz 内存 32G 核显 UHD620 2.软件平台 vc++ 2019 win10 ONNX onnxruntime1.10 Opencv 4.5.5 OpenVINO 2022.1 3.YOLO模型 1.官网下载：yolov5s.onnx 2.Openvion 优化模型：yolov5s.xml 模型输入大小为640*640 测试效
OpenVINO 2021r4.1 - 瞎搞YOLOV5 模型转换，INT8量化及C++推理实现
sandmangu的专栏
09-22 4034
以前曾经按照这个教程来做yolov5量化GitHub - Chen-MingChang/pytorch_YOLO_OpenVINO_demoContribute to Chen-MingChang/pytorch_YOLO_OpenVINO_demo development by creating an account on GitHub.https://github.com/Chen-MingChang/pytorch_YOLO_OpenVINO_demo但是有几个问题挺郁闷 这个github的作者在o
TensorRT实现yolov5推理加速（一）
IT菜鸟
09-19 6850
一、参考资料 TensorRT实现yolov5推理加速（二） 二、重要说明 序列化生成yolov5s.engine耗时，大概6-8分钟 time ./yolov5 -s yolov5s.wts yolov5s.engine s 输出 real 7m29.211s user 5m10.066s sys 0m42.794s yolov5s.trt与yolov5s.engine是一样的，只是后缀名不同。 c++推理yolov5s和python API推理yolov5s模型，速度相差不大，但是显存占用相差
yolov5 int8量化
09-12
1. 首先，使用OpenVINO backend运行YOLOv5m INT8模型推理demo。可以使用以下命令行来运行demo： ``` cd yolov5 && python detect.py --weights ./yolov5m/yolov5m_openvino_model/optimized/yolov5m.xml ``` 2...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BTU_YC

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值