Vs21019 tensorRT 加速yolov5 生成engine推理模型（C++）

最新推荐文章于 2024-05-29 13:59:34 发布
最新推荐文章于 2024-05-29 13:59:34 发布
阅读量331 收藏 1
点赞数 3
文章标签： YOLO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61732595/article/details/134569569
版权

所需软件/组件

Vs2019

【精选】visual studio 2019安装教程（详细的很）_vs2019安装教程-CSDN博客

opencv

如何在VS2019中配置OpenCV_vs2019 opencv-CSDN博客

Cuda

【精选】CUDA安装教程（超详细）_Billie使劲学的博客-CSDN博客

(注意！这个连接教程中并未勾选)

一定要勾选，否则报错找不到cuda

Cudnn (上面的连接里包含了cudnn安装，很详细)

CMake

CMake的安装（超级详细）_cmake安装_小码1111的博客-CSDN博客

Yolo源码

https://raw.gitcode.com/mirrors/monday-leo/yolov5_tensorrt_win10/archive/refs/heads/master.zipicon-default.png?t=N7T8https://raw.gitcode.com/mirrors/monday-leo/yolov5_tensorrt_win10/archive/refs/heads/master.zip

TensorRT

【模型部署】TensorRT的安装与使用_tensorrt部署-CSDN博客

CMake编译模型

（将yolov5的模型放在一个方便找到的文件夹目录下后面要用）

  1. 在yolov5的源文件夹下手动添加一个名为bulid的文件（Yolov5_Tensorrt_Win10-master\bulid）

  2. 修改yolov5源码文件中的CMakeLists.txt文件

（如何查看自己计算机算力）👇👇连接直达

Windows查看当前显卡算力_怎么查看显卡的算力_yikang.的博客-CSDN博客

打开CMake运行启动VS运行yolov5.cpp文件

 （将活动解决方案配置更改为Release,活动解决方案平台改为x64）

这里运行yolov5.cpp文件后在bulid文件下会生成Release文件

打开yolov5源码文件中的gen_wts.py文件（用来生成WTS模型）

（将YOLOV5文件中的models文件添加到yolov5源码中）

（将YOLOV5文件中的utils文件添加到yolov5源码中）

（将YOLOV5文件中的yolov5s.pt文件添加到yolov5源码中）

(👆👆👆与yolov5源码并不是一个，没有可自行下载，运行yolov5中的train.py文件会自动生成yolov5.pt文件)

更改gen_wts.py文件

将gen_wts.py文件中第10行添加自己的权重文件

将gen_wts.py文件中第11行添加自己要生成的文件

（这是生成了yolov5s.wts文件，放在自己创建的build文件下Release文件夹中）

使用终端运行

在Release文件夹下使用终端打开，运行./yolov5 -s yolov5s.wts yolov5s.engine s命令

(生成yolov5s.engine文件)

新建文件夹放入两张带人的图片用来测试效果

在终端运行yolov5 -d yolov5s.engine ./自己的图像文件夹名（会在文件中自动生成结果图像）

zhuhongbinbin
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Yolov5 TensorRT推理加速(c++版)
qq_37868876的博客
09-11 6948
Yolov5 不做赘述，目前目标检测里使用非常多的模型，效果和速度兼顾，性能强悍，配合TensorRT推理加速，在工业界可以说是非常流行的组合。 <!-- more --> 废话不多说，直接开整，以下使用的Tensor RT部署推理路线为：Pytorch-> ONNX -> TensorRT。 pytorch导出到onnx模型，可以非常方便，并且支持dynamic维度，配合netron工具，可以查看模型的网络结构，而TensorRT对ONNX的支持也非常完整，所以选择这一套流程，
模型部署+目标检测YOLOv5+tensorrt加速 - int8量化
02-27
本文主要讲述WIn10下在VS工程中通过Opencv部署yolov5模型，步骤包括： 1.python环境下通过export.py导出.onnx模型 2.C++环境下通过tensorrt进行模型导入和调用，过程中实现int8量化加速 适合刚开始部署模型的...
Window10手把手带你YOLOV5的火焰烟雾检测+tensorrt量化加速+C++动态库打包
qq_41043389的博客
07-14 6023
0.引言 本人配置：win10，python3.6、 torch1.7+cu110 、cuda11.0、 cudnn8.0.4.30、TensorRT-7.2.3.4、 vs2019，cmake3.15.5 整篇博客包括以下几个方面 1）基于python的yolov5实现火焰烟雾模型的训练 2）将训练好的模型转为tensorrt所需要的engine文件 3）基于c++实现模型推理与动态库打包 1.yolov5模型训...
YOLOv5目标检测实战：Jetson Nano部署
04-06
PyTorch版的YOLOv5是高性能的实时目标检测方法。Jetson Nano是英伟达含有GPU的人工智能硬件。本课程讲述如何部署YOLOv5在Jetson Nano开发板上。部署完成后可进行图像、视频文件和摄像头视频的实时目标检测。部署时使用AI视频处理加速引擎TensorRT和DeepStream。 课程内容包括：原理篇（DeepStream介绍、TensorRT介绍、 tensorrtx介绍）、实践篇（Nano硬件搭建、烧录系统镜像、安装远程登录工具、安装和测试DeepStream、安装yolov5、生成yolov5s.wts文件、生成yolov5s.engine、使用DeepStream部署yolov5、Nano部署测试）
c++ tensorrt 推理yolov5 (opencv-gpu、nms-cuda
最新发布
WSNjiang的博客
05-29 1193
@[TOC](c++ tensorrt 推理yolov5 (opencv-gpu、nms-cuda))yolov5_trt.h yolov5_trt.cpp postprocess.cuh postprocess.cu main.cpp 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的
win10 yolov5转换Tensorrt的engine模型全流程安装运行解读(使用TRT的PythonApi)
qq_42477629的博客
05-12 5778
版本： 版本请一一对应，版本不对，最终转engine也会出错 Python 3.8.x，Cuda 11.0.x，Cudnn 8.2.1，Tensorrt 8.2.4.2，Yolov5 6.1 步骤： 1、Python 3.8推荐使用对应版本的Anaconda进行安装 2、安装Cuda，下载Cudnn（此过程省略，不懂的可以百度，安装比较简单） 3、打开 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA 找到你安装的版本目录，打开，找到bin、includ
TensorRT部署YOLOv5(VS和Cmake两种方式)
热门推荐
qq_52859223的博客
04-15 1万+
小白都会的文章
YOLOv5+TensorRT+Visual Studio+CmakeLists实现推理
p3116002589的博客
04-25 2029
TensorRT推理YOLOV5的实现
TensorRTx-YOLOv5工程解读（一）
ChunjieShan的博客
09-26 3004
TensorRTx工程解读——YoloV5（一） 权重生成：gen_wts.py 作者先是使用了gen_wts.py这个脚本去生成wts文件。顾名思义，这个.wts文件里面存放的就是.pt文件的权重。脚本内容如下： import sys import argparse import os import struct import torch from utils.torch_utils import select_device def parse_args(): parser = argpars
yolov8使用tensorRT进行c++部署
01-29
在本文中，我们将深入探讨如何使用TensorRT对YOLOv8模型进行C++部署，以实现高效的计算机视觉任务，特别是X射线检测。YOLO（You Only Look Once）系列是实时目标检测领域的标志性算法，而YOLOv8作为最新版本，优化了...
基于Tensorrt的yolov5 实例分割源码
04-18
Yolov5是一种流行的实时目标检测框架，而TensorRT是NVIDIA开发的一个高性能深度学习推理优化器和运行时，用于加速深度学习模型的部署。结合两者，我们可以实现高效的模型推理，尤其适合于需要快速响应的嵌入式和...
基于C++深度学习vs2019车牌检测和识别Tensorrt部署源码+模型+详细部署教程.zip
05-09
最近准备在工控机端利用TensorRT部署车牌检测和车牌识别，在自己电脑上部署时需要注意一些细节，在此记录如下 环境要求 VS2019（Release x64） CUDA 11.3 CUDNN 8.6 TensorRT-8.5.1.7.Windows10.x86_64.cuda-11.8.cudnn8.6 Opencv452 **注意：**Tensorrt下载上面要求的cudnn版本一定要与cuda下的cudnn一致，否则可能会报错 属性表配置 Opencv VC++目录 -> 包含目录：D:\Library\opencv452\build\include; VC++目录 -> 库目录：D:\Library\opencv452\build\x64\vc15\lib; 链接器 -> 输入 -> 附加依赖项：opencv_world452.lib CUDA VC++目录 -> 包含目录：C:\Program Files\NVIDIA
YOLOv9-使用TensorRT部署YOLOv9目标检测算法-支持Python+Cpp-优质算法部署项目实战.zip
03-15
`trtexec`可以直接从ONNX模型生成Engine，而`tensorrt`模块则提供了更灵活的编程接口，可以自定义优化策略。C++部署则需要编写源代码，通过`nvinfer1::IGpuAllocator`实现内存管理，`nvinfer1::ICudaEngine`加载模型...
基于python的tensorrt int8 量化yolov5 onnx模型实现
03-26
本教程将详细介绍如何使用Python和TensorRT对YOLOv5 ONNX模型进行INT8量化，以提升其在实际应用中的性能。 首先，我们需要了解YOLOv5和ONNX。YOLOv5是一种流行的实时目标检测模型，基于Yolo（You Only Look Once）...
tensorRT学习--lenet5【支持windows 附代码】
z240626191s的博客
10-01 1606
前面写了一系列YOLO系列的剪枝以及libtorch推理的文章，如何将模型进行部署这才是一个难点，将学术成果转为实际应用，因此后续将不定期写一些有关tensorRT学习的文章，本文也是参考以下链接的教程，相信使用tensorrt推理yolov5大家都用过了。本文将以lenet为例进行tensorRT的推理。
tensorRT-lenet C++代码分析【附代码】
z240626191s的博客
10-02 2315
​前面的文章中已经写了一个tensorRT简单的demo---lenet推理【tensorRT-lenet】，实现了从torch模型转wts【同时也展示出了wts内网络的详细信息】再转engine后的推理过程，本文章是在之前的基础上去分析C++代码的实现。
yolov5训练后续：pt文件转engine流程
jiusanyoufang的博客
12-02 4817
yolov5训练后续：pt文件转engine流程
【TensorRT】TensorRT 部署Yolov5模型（C++）
grape_yan的博客
01-04 1万+
TensorRT支持多种模型文件，不过随着onnx模型的发展，目前多种模型框架都将onnx模型当作中间转换格式，是的该模型结构变得越来越通用，因此TensorRT目前主要在更新的就是针对该模型的转换。TensorRT是可以直接读取engine文件，对于onnx模型需要进行一些列转换配置，转为engine引擎才可以进行后续的推理，因此在进行模型推理前，需要先进行模型的转换。
安全帽监测——yolov5+tensorrt加速
m0_48365046的博客
04-13 3802
从数据集获取到训练yolo模型，实现安全帽监测项目
tensorrt加速yolov5 windows
06-28
### 回答1： 很抱歉，我是一名语言模型AI，无法进行操作和编程。但是，我可以为您提供一些相关信息。TensorRT是一种高性能深度学习推理库，可以加速模型的推理速度。YoloV5是一种目标检测算法，可以用于检测图像或视频中的物体。在Windows上使用TensorRT加速YoloV5，您需要先安装TensorRT和YoloV5，并将YoloV5模型转换为TensorRT格式。然后，您可以使用TensorRT API加载和推理模型，从而加速YoloV5的推理速度。具体操作步骤可以参考TensorRT和YoloV5的官方文档。 ### 回答2： TensorRT是NVIDIA为深度学习框架提供的高性能推理引擎。YoloV5是一种经典的目标检测算法，具有较高的准确率和实时性能。在Windows系统中，使用TensorRT可以加速YoloV5的推理速度，以实现更高效的目标检测。 要在Windows上使用TensorRT加速YoloV5，需要执行以下几个步骤： 1. 安装TensorRT和深度学习框架：在Windows系统中，TensorRT可以通过官方网站下载安装包进行安装。目前，TensorRT支持PyTorch、TensorFlow等多种深度学习框架，用户应根据自己的需要选择合适的框架。 2. 编译YoloV5：YoloV5的源代码可以从官方GitHub库中获取。在Windows系统中，需要使用Visual Studio等工具编译源代码，并生成可执行文件。 3. 应用TensorRT进行推理加速：将编译后的YoloV5可执行文件加载至TensorRT中，并使用NVIDIA GPU进行推理加速。 在使用TensorRT加速YoloV5时需要注意的一些问题： 1. 版本兼容性：TensorRT和深度学习框架的不同版本可能存在兼容性问题，用户需要根据官方文档提供的信息选择合适的版本。 2. TensorRT配置：用户需要根据自己的硬件配置和应用场景，对TensorRT引擎进行合理的配置。主要包括模型优化、内存使用方式、线程数等方面。 3. 精度损失：使用TensorRT进行推理加速可能会导致精度的损失，用户需要评估自己的应用场景，权衡速度和精度之间的平衡。 综上所述，使用TensorRT加速YoloV5是一种有效的推理加速方法，在Windows系统中也可以实现。用户需要根据自己的实际需求和硬件配置，选择合适的TensorRT版本和深度学习框架，进行相关的配置和优化，以获得最佳的性能和精度。 ### 回答3： 近年来，深度学习在计算机视觉领域得到广泛应用，如物体检测、图像分类等。其中，Yolo系列算法以其速度快、效果好、精度高等优点受到了广泛关注和应用。但是，Yolo系列算法在运行速度方面还有提升的空间。此时，选用TensorRT工具可以对Yolo系列算法进行优化加速。 TensorRT是Nvidia针对深度学习推理领域开发的一款高性能优化工具，可以将训练好的深度学习模型进行优化后加速模型推理的过程，可以显著提高推理速度和效率。而Yolov5算法是基于PyTorch框架实现的，因此TensorRT需要与PyTorch框架进行结合使用。由于TensorRT在Windows系统中的使用不太友好，本文将对如何在Windows上使用TensorRT加速Yolov5算法进行详细解释。 首先，搭建深度学习环境：安装pytorch、Cuda、cudnn等环境及其依赖项； 其次，生成ONNX模型文件：使用Pytorch训练好的Yolov5模型需要转化为ONNX格式，这个可以使用torch.onnx.export()函数进行转换。 然后，生成TensorRT模型文件：在生成ONNX模型的基础上使用TensorRT的创建推理引擎工具create_inference_engine.py进行转换。 最后，利用TensorRT加速推理过程：在代码中使用TensorRT推理引擎，并比较与未使用TensorRT加速时的运行时间。 需要注意的是，在使用TensorRT优化Yolov5模型时需要调整一些参数，例如batch size、max workspace size等，以及根据硬件环境进行优化，可参考TensorRT官方文档和案例。 总的来说，使用TensorRT可以显著提高Yolov5算法的推理速度和效率，对于实时热点视频监控、智能安防等方面的应用具有重要意义。同时，TensorRT在Windows系统上的使用虽然存在一些不便，但只要按照步骤进行操作，还是能够顺利完成优化加速过程。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值