yolov5部署之七步完成tensorRT模型推理加速

已于 2024-04-18 09:14:27 修改
阅读量3.4w 收藏 580
点赞数 90
分类专栏： 深度学习 python 图像处理 文章标签： 深度学习 目标跟踪 图像识别 图像处理 人工智能
于 2021-03-05 22:37:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41552975/article/details/114398669
版权
图像处理 同时被 3 个专栏收录
137 篇文章 16 订阅
订阅专栏
深度学习
91 篇文章 18 订阅
订阅专栏
python
25 篇文章 1 订阅
订阅专栏

目录

前言

    前段时间研究了Pytorch的环境配置，之后便从github上下载了yolov5的源码，并在自己的电脑端配置好对应的环境并运行，最后发现生成的权重文件yolov5s.pt不仅可以通过量化压缩成onxx模型，而且还可以使用TensorRT推理加速生成engine模型，这对使得模型部署在移动端具有很大的优势，于是便尝试着在自己的电脑上通过TensorRT部署yolov5模型。
     现在网上有很多可以参考的博客，但大多数都是针对某一个环节进行了仔细的解释说明，这在前期的学习中不免会让人产生云里雾里的感觉，难以从一个全局的角度去看待这个问题，换句话说就是很少有把整个流程先总结下来，先让我们知道需要那些模块，该准备些什么模块，以及这些模块之间又有什么样的联系，然后再细分到各个小模块去说明解释。所以今天就从这个角度去发出，总结一下最近学习的一些内容。
在此之前假设你已经掌握了Pytorch、CUDA、cuDNN的基础知识以及配置好了yolov5的环境并调试运行过源码

注 :如果还没有掌握上述基础知识，可以参考另外两篇博文
1.深度学习之Pytorch环境搭建
2.yolov5部署之环境配置及源码测试

首先整个过程分为以下7个步骤（模块）：

  • step 1. 下载yolov5源码以及tensorrtx源码，并将yolov5s.pt转为.wts模型。
  • step 2. 确定并下载自己准备使用的CUDA版本。
  • step 3. 根据自己的CUDA版本下载对应版本的cuDNN以及TensorRT
  • step 4. 根据自己使用的VS版本下载对应版本的OpenCV
  • step 5. 安装CUDA
  • step 6. 安装cuDNN、TensorRT以及验证TensorRT是否安装成功
  • step 7. 下载Cmake软件，利用Cmake软件编译生成yolov5的VS工程，测试并完成推理

下面将从这个7个步骤，逐步进行解释，首先贴出我的环境：

  • 系统 : WIN 10
  • cuda_10.2.89_441.22_win10
  • cudnn-10.2-windows10-x64-v8.1.1.33
  • TensorRT-7.0.0.11.Windows10.x86_64.cuda-10.2.cudnn7.6
  • OpenCV 3.4.3
  • CMake 3.9.16

代码版本：

  • yolov5 3.0
  • tensorrtx 3.0
git clone -b v3.0 https://github.com/ultralytics/yolov5.git
git clone -b yolov5-v3.0 https://github.com/wang-xinyu/tensorrtx.git

这里不得不说一下wang-xinyu的工作实在是太赞了！ 源码地址点这里

step 1. 下载yolov5源码以及tensorrtx源码，并将yolov5s.pt转为.wts模型

  • 将tensorrtx源码中的gen_wts.py复制到yolov5源码中并运行，生成.wts模型。
    在这里插入图片描述

step 2. 确定并下载自己准备使用的CUDA版本。

略
网址：cuda-toolkit
在这里插入图片描述

step 3. 根据自己的CUDA版本下载对应版本的cuDNN以及TensorRT

略
网址： cudnn
在这里插入图片描述

step 4. 根据自己使用的VS版本下载对应版本的OpenCV

略

step 5. 安装CUDA

安装cuda这里解答几点疑惑

  • 安装直接默认即可，不用设置不同的路径，设置相同路径不会互相影响。
  • 一台电脑安装可以安装多个cuda版本， 且不同版本之间不会覆盖
  • 不同版本的cuda之间的切换，只需将环境变量的路径置前即可。

我这里安装了两个cuda版本，所以有两个文件夹
在这里插入图片描述

step 6. 安装cuDNN、TensorRT以及验证TensorRT是否安装成功

1. 安装cuDNN

  • 1 将cuDNN压缩包解压
  • 2 将cuda\bin中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin
  • 3 将cuda\include中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\include
  • 4 将cuda\lib中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\lib

4步完成cuDNN安装

2. 安装TensorRT

  • 1 将TensorRT压缩包解压
  • 2 将 TensorRT-7.0.0.11\include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include
  • 3 将TensorRT-7.0.0.11\lib 中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\lib\x64
  • 4 将TensorRT-7.0.0.11\lib 中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin

4步完成TensorRT安装

3. 验证TensorRT是否安装成功

  • 1-用VS2015 打开 TensorRT-7.0.0.11\samples\sampleMNIST\sample_mnist.sln
  • 2- 在VS2015中，右键工程，选择属性->配置属性->常规->目标平台版本->8.1
  • 3- 在VS2015中，右键工程，选择属性->配置属性->常规->平台工具集->vs2015(v140)
  • 4- 右键工程->重新生成
  • 5- 用anaconda 进入TensorRT-7.0.0.11\data\mnist 目录，运行python download_pgms.py
  • 6- 进入TensorRT-7.0.0.11\bin，双击sample_mnist.exe，如果没有报错则说配置成功。

在这里插入图片描述

第6步运行出现如下结果，则说明配置成功
注：如果提示没有.pgm文件，则检查第5步是否下载了数据
在这里插入图片描述

step 7. 下载Cmake软件，利用Cmake软件编译生成yolov5的VS工程，测试并完成推理

1. 下载Cmake软件
略
2. 配置OpenCV环境变量

  • 1-新建一个系统变量OpenCV_DIR
  • 2- 在系统变量Path中添加OpenCV343路径

在这里插入图片描述

在这里插入图片描述
3. 修改tensorrtx/yolov5/CMakeLists.txt文件中的OpenCV和TensorRT路径

注： CMakeLists.txt为生成VS工程的配置文件，源码为作者的路径，需要设置成自己的路径，主要是 OpenCV和TensorRT的路径
在这里插入图片描述

4. 利用Cmake软件编译生成yolov5的VS工程

  • 1- 打开CMake
  • 2- source code 为源码的路径 build the binaries 为生成的VS工程的路径
  • 3- 路径设置完成后，点击左下方 Configure，然后选择VS的版本以及x64平台
  • 4- 点击Generate生成项目
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
注：配置时出现这样红色的警告忽略
在这里插入图片描述
注：最后一步生成报错也忽略，然后打开工程在这里插入图片描述

5. 打开yolov5的VS工程，生成engine模型

  • 1- 在刚刚设置的build the binaries 路径下，打开yolov5的工程
  • 2- 编译生成
  • 3- 可以看到在\tensorrtx\yolov5\build\Debug文件下生成了一个yolov5.exe文件
  • 4- cmd进入到\tensorrtx\yolov5\build\Debug目录下，然后执行yolov5.exe -s 命令, 可以看到在当前目录下生成了一个yolov5.engine文件，说明转换成功。
  • 5- 在\tensorrtx\yolov5\build\Debug目录下新建一个samples文件夹然后放入测试图片，最好通过cmd执行yolov5.exe -d ../samples，调用yolov5.engine进行测试

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最后打个广告，点个赞再走！

总结

在中间的过程中可能会出现以下问题：

  • 找不到dll，请检测自己的cuDNN，和TensorRT是否安装成功。
  • 如果有Assertion failed: engine != nullptr错误，请检查自己的TensorRT版本是否匹配。
  • 如果CMake生成的yolov5的VS工程编译不通过，请检查自己的cuda, cuDNN, 以及TensorRT的版本。

如果想进一步将YOLOv5模型封装成dll供其他模块调用可以参考另一篇博文：

yolov5部署之dll封装并调用的方法

GIF图效果演示如下：

在这里插入图片描述

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

６６.如果需要封装远程技术支持请私信我

已帮助很多小伙伴实现了自己小项目
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

深夜跟小伙伴一起远程debug，虽然各种奇奇怪怪的报错，但也一起熬夜乐在其中
在这里插入图片描述

看到小伙伴的电脑上成功封装，并推理出结果，那一刻感觉互相所有的付出都是值得的，
在这里插入图片描述

#############################################################################

视觉与控制前沿公众号，第一时间获取最有价值的前沿视觉与控制文章。

在这里插入图片描述

公众号链接视觉与控制公众号

拓展

另推荐一门深蓝学院开设讲解TensorRT模型加速的线上课程，可以对TensorRT整体框架的细节理解和运用都能起到很好的帮助:

链接：深度神经网络加速 cuDNN 与 TensorRT

欢迎大家去我主页左侧扫码了解相关课程
Christo3
关注
  • 90
    点赞
  • 踩
  • 580
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 109
    评论
专栏目录
YOLOv5(PyTorch)目标检测实战：TensorRT加速部署
03-24
PyTorch版的YOLOv5是高性能的实时目标检测方法。 TensorRT是针对英伟达GPU的加速工具。本课程讲述如何使用TensorRT对YOLOv5进行加速和部署。   本课程的YOLOv5使用ultralytics/yolov5，分别在Ubuntu和windows10系统上做TensorRT加速和部署演示。课程内容包括：原理篇（YOLOv5网络架构与组件、TensorRT基础、TensorRT INT8量化、tensorrtx介绍、CUDA编程方法）、实践篇（Ubuntu和Windows10系统上的TensorRT部署演示）、代码解析篇（YOLOv5的TensorRT加速的代码解析） 。本课程提供注释后的YOLOv5的TensorRT加速代码。 除本课程《YOLOv5(PyTorch)目标检测实战：TensorRT加速部署》外，本人推出了有关YOLOv5目标检测的系列课程。请关注该系列的其它视频课程，包括：《YOLOv5(PyTorch)目标检测实战：训练自己的数据集》Ubuntu系统：https://edu.csdn.net/course/detail/30793Windows系统：https://edu.csdn.net/course/detail/30923《YOLOv5(PyTorch)目标检测：原理与源码解析》https://edu.csdn.net/course/detail/31428《YOLOv5(PyTorch)目标检测实战：Flask Web部署》https://edu.csdn.net/course/detail/31140
yolov5+tensorrt加速，部署在边缘计算设备（AGX、TX2、NX等）上，成功实现
w1319146554的博客
08-29 997
yolov5+tensorrt加速，部署在边缘计算设备（AGX、TX2、NX等）上，成功实现
Yolov5的3种tensorRT加速方式及3090测评结果（C++版和Python torchtrt版）
藏晖的博客
10-08 1万+
本文中，我想测评下tensorRT，看看它在不同方式下的加速效果。 用Tensorrt加速有两种思路，一种是构建C++版本的代码，生成engine，然后用C++的TensorRT加速。另一种是用Python版本的加速，Python加速有两种方式，网络上基本上所有的方法都是用了C++生成的engine做后端，只用C++来做前端，这里我提供了另外一个用torchtrt加速的版本。 一、安装Tensorrt参考教程 所有工程前最苦恼的问题，配置环境。。以下是我参考的连接。 1、安装可以通过tar或者deb安装 h
Yolov7的tensorRT部署与使用
最新发布
M16_A2E3的博客
03-06 1994
TensorRT的C++部署
yolov5三种TensorRT推理过程
mddCSDN的博客
02-20 449
4、把生成的yolov5l_best.wts文件导入\tensorrtx-yolov5-v5.0\yolov5\build\Release文件下，使用指 令yolov5.exe -s yolov5l_best.wts yolov5l_best.engine l 通过yolov5.exe生成yolov5l best.engine，参数l根据训练模型来改，可以是s\m\I\x。
Win10—YOLOv5实战+TensorRT部署+VS2019编译(小白教程~易懂易上手)---超详细
爱折腾的三石兄
08-30 1万+
Win10—YOLOv5实战+TensorRT部署+VS2019编译(小白教程~易懂易上手) 一位入门CV的小白，第一次使用TensorRT来加速部署YOLOv5项目。 此文详细记录了实操过程中的种种坑与不足，一来方便自己回顾温习，二来帮助想使用YOLOv5与TensorRT来部署项目的小伙伴避免踩一些坑，三来希望得到各位大佬大牛的高见！ 文章目录Win10—YOLOv5实战+TensorRT部署+VS2019编译(小白教程~易懂易上手)1 软件下载及安装(1) 安装VS2019(2) 安装NVID
pth转onnx模型、onnx转tensorrt模型、python中使用tensorrt进行加速推理（全网最全，不信你打我）
qq_15060477的博客
09-22 3680
本文向所有亲们介绍在python当中配置tensorrt环境、使用tensorrt环境进行推理的教程，主要分为两大部分，第一部分环境配置，第二部分前向推理。
yolov5s.pt资源，可下载
07-12
yolov5s.pt资源，可下载
Yolo V5 转tensorrt
01-25 6351
一、 在转tensorrt之前，请先确认你下载的yolo v5的版本及对应权重： 在官方地址： https://github.com/ultralytics/yolov5 中有个master下有个Tags，选择v6.0版本 2. 点击v6.0后下面给出这个版本的代码以及权重，去下面找它的权重 点击里面yolo v5s 或者yolo v5l 后进入新的页面，在下面有个assets中选择对应的版本，下载即可。这是它是按照对应版本进行下载的。就是v6.0版本的yolo v5代码对应...
【目标检测】使用TensorRT加速YOLOv5
兴趣使然的创作者
10-24 1万+
此文描述了YOLOv5转TensorRT的详细步骤，并分别对图片和视频进行了实验。
【TensorRT】TensorRT 部署Yolov5模型（C++）
grape_yan的博客
01-04 8921
TensorRT支持多种模型文件，不过随着onnx模型的发展，目前多种模型框架都将onnx模型当作中间转换格式，是的该模型结构变得越来越通用，因此TensorRT目前主要在更新的就是针对该模型的转换。TensorRT是可以直接读取engine文件，对于onnx模型需要进行一些列转换配置，转为engine引擎才可以进行后续的推理，因此在进行模型推理前，需要先进行模型的转换。
深度学习-TensorRT模型部署实战视频课程
09-07
分享课程——深度学习-TensorRT模型部署实战，2022年4月新课，完整版视频教程下载，附代码、课件。 本课程划分为四部分： 第一部分精简CUDA-驱动API：学习CUDA驱动API的使用，错误处理方法，上下文管理方法，了解驱动API所处位置，CUDA的开发习惯。 第二部分精简CUDA-运行时API：学习CUDA运行时API的使用，力求精简，力求够用，学会编写核函数加速模型预处理（仿射变换），学习yolov5的后处理加速方法，共享内存的使用。 第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以项目驱动，学习大量具体的项目案例（分类器、目标检测、姿态检测、场景分割、道路分割、深度估计、车道线检测、huggingface、insightface、mmdetection、onnxruntime、openvino），学习针对深度学习需要的封装技术、多线程技术、框架设计技术。
基于jetson平台使用tensorRT加速推理yolov5的两种方法
04-19
由于大多数深度学习模型部署在嵌入式平台均出现推理速度过慢的情况，因此引用到tensorRT来加速推理深度学习模型，以yolov5为例，本文介绍了两种方式将yolov5在pytorch框架下训练出的.pt权重抓换成tensorRT的推理引擎...
深度学习-TensorRT模型部署实战2022
04-11
分享课程——《深度学习-TensorRT模型部署实战》，2022年4月新课，提供代码和课件下载！ 本课程划分为四部分： 第一部分精简CUDA-驱动API：学习CUDA驱动API的使用，错误处理方法，上下文管理方法，了解驱动API所处...
yolov8量化部署（基于openvino和tensorrt）
06-11
包括C++和python的所有源代码、模型文件、推理用的图片和视频资源文件。 对应文章https://blog.csdn.net/taifyang/article/details/131158445。
深度学习-TensorRT模型部署实战
06-16
第二部分精简CUDA-运行时API：学习CUDA运行时API的使用，力求精简，力求够用，学会编写核函数加速模型预处理（仿射变换），学习yolov5的后处理加速方法，共享内存的使用。 第三部分tensorRT基础：学习tensorRT的...
利用yolov5和TensorRT从0到1实现目标检测的模型训练到模型部署全过程
03-16
利用yolov5和TensorRT从0到1实现目标检测的模型训练到模型部署全过程 利用TensorRT加速推理速度是以时间换取精度的做法，意味着在推理速度上升的同时将会有精度的下降，不过不用太担心，精度下降微乎其微。此外，要...
yolov5部署之dll封装并调用的方法
热门推荐
Christo的博客
04-01 2万+
文章目录前言1. VS2015新建一个dll项目 前言 前面讲过yolov5的环境配置，源码测试，以及使用TensorRT进行推理加速，但是有时候为了让模型部署在移动端，需要将模型封装成一个动态链接库dll，从而再任意的移动端无需配置环境即可运行，并且通过读取dll方便软件的其他模块进行调用。 1. VS2015新建一个dll项目 ......
yolov6模型tensorrt部署
07-25
您好！要将YOLOv6模型部署到TensorRT，您可以按照以下步骤进行操作： 1. 安装依赖：首先，确保您已经安装了TensorRT和相关的CUDA和CUDNN库。您还需要安装Python和PyTorch。 2. 下载YOLOv6模型：从YOLOv6的GitHub存储库（https://github.com/ultralytics/yolov5）下载所需的权重文件。请注意，YOLOv6由Ultralytics开发，与YOLOv5略有不同。 3. 将模型转换为ONNX格式：使用Ultralytics提供的脚本将YOLOv6模型从PyTorch转换为ONNX格式。该脚本可在他们的GitHub存储库中找到。 4. 使用TensorRT进行优化：使用TensorRT的Python API将ONNX格式的YOLOv6模型进行优化。您可以使用TensorRT提供的API创建一个推理引擎，并设置相关参数。 5. 执行推理：使用TensorRT的推理引擎对输入数据进行推理。您可以将图像传递给引擎，并获得检测结果。 请注意，这只是一个简单的概述，实际操作可能会更复杂。建议您参考TensorRT的文档和示例代码以获取更详细的指导。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 109
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Christo3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值