Vs21019 tensorRT 加速yolov5 生成engine推理模型（C++）

最新推荐文章于 2024-05-29 13:59:34 发布
最新推荐文章于 2024-05-29 13:59:34 发布
阅读量313 收藏 1
点赞数 3
文章标签： YOLO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61732595/article/details/134569569
版权

所需软件/组件

Vs2019

【精选】visual studio 2019安装教程（详细的很）_vs2019安装教程-CSDN博客

opencv

如何在VS2019中配置OpenCV_vs2019 opencv-CSDN博客

Cuda

【精选】CUDA安装教程（超详细）_Billie使劲学的博客-CSDN博客

(注意！这个连接教程中并未勾选)

一定要勾选，否则报错找不到cuda

Cudnn (上面的连接里包含了cudnn安装，很详细)

CMake

CMake的安装（超级详细）_cmake安装_小码1111的博客-CSDN博客

Yolo源码

https://raw.gitcode.com/mirrors/monday-leo/yolov5_tensorrt_win10/archive/refs/heads/master.zipicon-default.png?t=N7T8https://raw.gitcode.com/mirrors/monday-leo/yolov5_tensorrt_win10/archive/refs/heads/master.zip

TensorRT

【模型部署】TensorRT的安装与使用_tensorrt部署-CSDN博客

CMake编译模型

（将yolov5的模型放在一个方便找到的文件夹目录下后面要用）

  1. 在yolov5的源文件夹下手动添加一个名为bulid的文件（Yolov5_Tensorrt_Win10-master\bulid）

  2. 修改yolov5源码文件中的CMakeLists.txt文件

（如何查看自己计算机算力）👇👇连接直达

Windows查看当前显卡算力_怎么查看显卡的算力_yikang.的博客-CSDN博客

打开CMake运行启动VS运行yolov5.cpp文件

 （将活动解决方案配置更改为Release,活动解决方案平台改为x64）

这里运行yolov5.cpp文件后在bulid文件下会生成Release文件

打开yolov5源码文件中的gen_wts.py文件（用来生成WTS模型）

（将YOLOV5文件中的models文件添加到yolov5源码中）

（将YOLOV5文件中的utils文件添加到yolov5源码中）

（将YOLOV5文件中的yolov5s.pt文件添加到yolov5源码中）

(👆👆👆与yolov5源码并不是一个，没有可自行下载，运行yolov5中的train.py文件会自动生成yolov5.pt文件)

更改gen_wts.py文件

将gen_wts.py文件中第10行添加自己的权重文件

将gen_wts.py文件中第11行添加自己要生成的文件

（这是生成了yolov5s.wts文件，放在自己创建的build文件下Release文件夹中）

使用终端运行

在Release文件夹下使用终端打开，运行./yolov5 -s yolov5s.wts yolov5s.engine s命令

(生成yolov5s.engine文件)

新建文件夹放入两张带人的图片用来测试效果

在终端运行yolov5 -d yolov5s.engine ./自己的图像文件夹名（会在文件中自动生成结果图像）

zhuhongbinbin
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Yolov5 TensorRT推理加速(c++版)
qq_37868876的博客
09-11 6902
Yolov5 不做赘述，目前目标检测里使用非常多的模型，效果和速度兼顾，性能强悍，配合TensorRT推理加速，在工业界可以说是非常流行的组合。 <!-- more --> 废话不多说，直接开整，以下使用的Tensor RT部署推理路线为：Pytorch-> ONNX -> TensorRT。 pytorch导出到onnx模型，可以非常方便，并且支持dynamic维度，配合netron工具，可以查看模型的网络结构，而TensorRT对ONNX的支持也非常完整，所以选择这一套流程，
模型部署+目标检测YOLOv5+tensorrt加速 - int8量化
02-27
本文主要讲述WIn10下在VS工程中通过Opencv部署yolov5模型，步骤包括： 1.python环境下通过export.py导出.onnx模型 2.C++环境下通过tensorrt进行模型导入和调用，过程中实现int8量化加速 适合刚开始部署模型的...
onnx转wts文件与转engine文件的区别
maobin_1的博客
09-22 666
Engine文件是TensorRT的序列化模型，其中包含神经网络的结构和权重。可以在TensorRT中使用Engine文件来进行推理。- WTS文件是权重文件，其中包含神经网络的所有参数，但不包括网络结构。可以在TensorRT中使用WTS文件来加载预先训练好的权重。因此，如果您只需要加载预先训练好的权重，则可以将ONNX转换为WTS文件。如果您需要进行推理，则应将ONNX转换为Engine文件。ONNX转换为WTS文件和转换为Engine文件有一些区别。
win10 yolov5转换Tensorrt的engine模型全流程安装运行解读(使用TRT的PythonApi)
qq_42477629的博客
05-12 5715
版本： 版本请一一对应，版本不对，最终转engine也会出错 Python 3.8.x，Cuda 11.0.x，Cudnn 8.2.1，Tensorrt 8.2.4.2，Yolov5 6.1 步骤： 1、Python 3.8推荐使用对应版本的Anaconda进行安装 2、安装Cuda，下载Cudnn（此过程省略，不懂的可以百度，安装比较简单） 3、打开 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA 找到你安装的版本目录，打开，找到bin、includ
c++ tensorrt 推理yolov5 (opencv-gpu、nms-cuda
最新发布
WSNjiang的博客
05-29 1141
@[TOC](c++ tensorrt 推理yolov5 (opencv-gpu、nms-cuda))yolov5_trt.h yolov5_trt.cpp postprocess.cuh postprocess.cu main.cpp 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的
TensorRT部署YOLOv5(VS和Cmake两种方式)
热门推荐
qq_52859223的博客
04-15 1万+
小白都会的文章
YOLOv5+TensorRT+Visual Studio+CmakeLists实现推理
p3116002589的博客
04-25 2006
TensorRT推理YOLOV5的实现
TensorRTx-YOLOv5工程解读（一）
ChunjieShan的博客
09-26 2984
TensorRTx工程解读——YoloV5（一） 权重生成：gen_wts.py 作者先是使用了gen_wts.py这个脚本去生成wts文件。顾名思义，这个.wts文件里面存放的就是.pt文件的权重。脚本内容如下： import sys import argparse import os import struct import torch from utils.torch_utils import select_device def parse_args(): parser = argpars
基于Tensorrt的yolov5 实例分割源码
04-18
Yolov5是一种流行的实时目标检测框架，而TensorRT是NVIDIA开发的一个高性能深度学习推理优化器和运行时，用于加速深度学习模型的部署。结合两者，我们可以实现高效的模型推理，尤其适合于需要快速响应的嵌入式和...
yolov8使用tensorRT进行c++部署
01-29
在本文中，我们将深入探讨如何使用TensorRT对YOLOv8模型进行C++部署，以实现高效的计算机视觉任务，特别是X射线检测。YOLO（You Only Look Once）系列是实时目标检测领域的标志性算法，而YOLOv8作为最新版本，优化了...
基于python的tensorrt int8 量化yolov5 onnx模型实现
03-26
本教程将详细介绍如何使用Python和TensorRT对YOLOv5 ONNX模型进行INT8量化，以提升其在实际应用中的性能。 首先，我们需要了解YOLOv5和ONNX。YOLOv5是一种流行的实时目标检测模型，基于Yolo（You Only Look Once）...
基于C++深度学习vs2019车牌检测和识别Tensorrt部署源码+模型+详细部署教程.zip
05-09
最近准备在工控机端利用TensorRT部署车牌检测和车牌识别，在自己电脑上部署时需要注意一些细节，在此记录如下 环境要求 VS2019（Release x64） CUDA 11.3 CUDNN 8.6 TensorRT-8.5.1.7.Windows10.x86_64.cuda-11.8.cudnn8.6 Opencv452 **注意：**Tensorrt下载上面要求的cudnn版本一定要与cuda下的cudnn一致，否则可能会报错 属性表配置 Opencv VC++目录 -> 包含目录：D:\Library\opencv452\build\include; VC++目录 -> 库目录：D:\Library\opencv452\build\x64\vc15\lib; 链接器 -> 输入 -> 附加依赖项：opencv_world452.lib CUDA VC++目录 -> 包含目录：C:\Program Files\NVIDIA
TensorRT加速项目-使用TensorRT部署YOLOv4项目-darknet+pytorch-项目实战-附完整流程教程
01-18
本项目将详细介绍如何使用TensorRT来加速YOLOv4模型的部署，结合darknet和pytorch框架，提供完整的实战教程。 **YOLOv4** YOLO（You Only Look Once）是一种实时目标检测系统，以其快速和准确的特性在目标检测领域...
tensorRT学习--lenet5【支持windows 附代码】
z240626191s的博客
10-01 1602
前面写了一系列YOLO系列的剪枝以及libtorch推理的文章，如何将模型进行部署这才是一个难点，将学术成果转为实际应用，因此后续将不定期写一些有关tensorRT学习的文章，本文也是参考以下链接的教程，相信使用tensorrt推理yolov5大家都用过了。本文将以lenet为例进行tensorRT的推理。
tensorRT-lenet C++代码分析【附代码】
z240626191s的博客
10-02 2298
​前面的文章中已经写了一个tensorRT简单的demo---lenet推理【tensorRT-lenet】，实现了从torch模型转wts【同时也展示出了wts内网络的详细信息】再转engine后的推理过程，本文章是在之前的基础上去分析C++代码的实现。
yolov5训练后续：pt文件转engine流程
jiusanyoufang的博客
12-02 4763
yolov5训练后续：pt文件转engine流程
【TensorRT】TensorRT 部署Yolov5模型（C++）
grape_yan的博客
01-04 9936
TensorRT支持多种模型文件，不过随着onnx模型的发展，目前多种模型框架都将onnx模型当作中间转换格式，是的该模型结构变得越来越通用，因此TensorRT目前主要在更新的就是针对该模型的转换。TensorRT是可以直接读取engine文件，对于onnx模型需要进行一些列转换配置，转为engine引擎才可以进行后续的推理，因此在进行模型推理前，需要先进行模型的转换。
安全帽监测——yolov5+tensorrt加速
m0_48365046的博客
04-13 3790
从数据集获取到训练yolo模型，实现安全帽监测项目
YOLOv5 tensorRT C++代码详解之engine的读取
z240626191s的博客
08-20 1531
engine文件的读取需要用到ifstreamifstream – 从已有的文件读入ofstream – 向文件写内容fstream - 打开文件供读写文件打开模式：ios::in 只读ios::out 只写ios::app 从文件末尾开始写，防止丢失文件中原来就有的内容ios::binary 二进制模式ios::nocreate 打开一个文件时，如果文件不存在，不创建文件ios::noreplace 打开一个文件时，如果文件不存在，创建该文件。
tensorrt加速yolov5 windows
06-28
### 回答1： 很抱歉，我是一名语言模型AI，无法进行操作和编程。但是，我可以为您提供一些相关信息。TensorRT是一种高性能深度学习推理库，可以加速模型的推理速度。YoloV5是一种目标检测算法，可以用于检测图像或视频中的物体。在Windows上使用TensorRT加速YoloV5，您需要先安装TensorRT和YoloV5，并将YoloV5模型转换为TensorRT格式。然后，您可以使用TensorRT API加载和推理模型，从而加速YoloV5的推理速度。具体操作步骤可以参考TensorRT和YoloV5的官方文档。 ### 回答2： TensorRT是NVIDIA为深度学习框架提供的高性能推理引擎。YoloV5是一种经典的目标检测算法，具有较高的准确率和实时性能。在Windows系统中，使用TensorRT可以加速YoloV5的推理速度，以实现更高效的目标检测。 要在Windows上使用TensorRT加速YoloV5，需要执行以下几个步骤： 1. 安装TensorRT和深度学习框架：在Windows系统中，TensorRT可以通过官方网站下载安装包进行安装。目前，TensorRT支持PyTorch、TensorFlow等多种深度学习框架，用户应根据自己的需要选择合适的框架。 2. 编译YoloV5：YoloV5的源代码可以从官方GitHub库中获取。在Windows系统中，需要使用Visual Studio等工具编译源代码，并生成可执行文件。 3. 应用TensorRT进行推理加速：将编译后的YoloV5可执行文件加载至TensorRT中，并使用NVIDIA GPU进行推理加速。 在使用TensorRT加速YoloV5时需要注意的一些问题： 1. 版本兼容性：TensorRT和深度学习框架的不同版本可能存在兼容性问题，用户需要根据官方文档提供的信息选择合适的版本。 2. TensorRT配置：用户需要根据自己的硬件配置和应用场景，对TensorRT引擎进行合理的配置。主要包括模型优化、内存使用方式、线程数等方面。 3. 精度损失：使用TensorRT进行推理加速可能会导致精度的损失，用户需要评估自己的应用场景，权衡速度和精度之间的平衡。 综上所述，使用TensorRT加速YoloV5是一种有效的推理加速方法，在Windows系统中也可以实现。用户需要根据自己的实际需求和硬件配置，选择合适的TensorRT版本和深度学习框架，进行相关的配置和优化，以获得最佳的性能和精度。 ### 回答3： 近年来，深度学习在计算机视觉领域得到广泛应用，如物体检测、图像分类等。其中，Yolo系列算法以其速度快、效果好、精度高等优点受到了广泛关注和应用。但是，Yolo系列算法在运行速度方面还有提升的空间。此时，选用TensorRT工具可以对Yolo系列算法进行优化加速。 TensorRT是Nvidia针对深度学习推理领域开发的一款高性能优化工具，可以将训练好的深度学习模型进行优化后加速模型推理的过程，可以显著提高推理速度和效率。而Yolov5算法是基于PyTorch框架实现的，因此TensorRT需要与PyTorch框架进行结合使用。由于TensorRT在Windows系统中的使用不太友好，本文将对如何在Windows上使用TensorRT加速Yolov5算法进行详细解释。 首先，搭建深度学习环境：安装pytorch、Cuda、cudnn等环境及其依赖项； 其次，生成ONNX模型文件：使用Pytorch训练好的Yolov5模型需要转化为ONNX格式，这个可以使用torch.onnx.export()函数进行转换。 然后，生成TensorRT模型文件：在生成ONNX模型的基础上使用TensorRT的创建推理引擎工具create_inference_engine.py进行转换。 最后，利用TensorRT加速推理过程：在代码中使用TensorRT推理引擎，并比较与未使用TensorRT加速时的运行时间。 需要注意的是，在使用TensorRT优化Yolov5模型时需要调整一些参数，例如batch size、max workspace size等，以及根据硬件环境进行优化，可参考TensorRT官方文档和案例。 总的来说，使用TensorRT可以显著提高Yolov5算法的推理速度和效率，对于实时热点视频监控、智能安防等方面的应用具有重要意义。同时，TensorRT在Windows系统上的使用虽然存在一些不便，但只要按照步骤进行操作，还是能够顺利完成优化加速过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值