yolov5部署之七步完成tensorRT模型推理加速

已于 2024-04-18 09:14:27 修改
阅读量3.9w 收藏 660
点赞数 106
分类专栏： 深度学习 python 图像处理 文章标签： 深度学习 目标跟踪 图像识别 图像处理 人工智能
于 2021-03-05 22:37:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41552975/article/details/114398669
版权
图像处理 同时被 3 个专栏收录
142 篇文章 22 订阅
订阅专栏
深度学习
96 篇文章 19 订阅
订阅专栏
python
25 篇文章 1 订阅
订阅专栏

目录

前言

    前段时间研究了Pytorch的环境配置，之后便从github上下载了yolov5的源码，并在自己的电脑端配置好对应的环境并运行，最后发现生成的权重文件yolov5s.pt不仅可以通过量化压缩成onxx模型，而且还可以使用TensorRT推理加速生成engine模型，这对使得模型部署在移动端具有很大的优势，于是便尝试着在自己的电脑上通过TensorRT部署yolov5模型。
     现在网上有很多可以参考的博客，但大多数都是针对某一个环节进行了仔细的解释说明，这在前期的学习中不免会让人产生云里雾里的感觉，难以从一个全局的角度去看待这个问题，换句话说就是很少有把整个流程先总结下来，先让我们知道需要那些模块，该准备些什么模块，以及这些模块之间又有什么样的联系，然后再细分到各个小模块去说明解释。所以今天就从这个角度去发出，总结一下最近学习的一些内容。
在此之前假设你已经掌握了Pytorch、CUDA、cuDNN的基础知识以及配置好了yolov5的环境并调试运行过源码

注 :如果还没有掌握上述基础知识，可以参考另外两篇博文
1.深度学习之Pytorch环境搭建
2.yolov5部署之环境配置及源码测试

首先整个过程分为以下7个步骤（模块）：

  • step 1. 下载yolov5源码以及tensorrtx源码，并将yolov5s.pt转为.wts模型。
  • step 2. 确定并下载自己准备使用的CUDA版本。
  • step 3. 根据自己的CUDA版本下载对应版本的cuDNN以及TensorRT
  • step 4. 根据自己使用的VS版本下载对应版本的OpenCV
  • step 5. 安装CUDA
  • step 6. 安装cuDNN、TensorRT以及验证TensorRT是否安装成功
  • step 7. 下载Cmake软件，利用Cmake软件编译生成yolov5的VS工程，测试并完成推理

下面将从这个7个步骤，逐步进行解释，首先贴出我的环境：

  • 系统 : WIN 10
  • cuda_10.2.89_441.22_win10
  • cudnn-10.2-windows10-x64-v8.1.1.33
  • TensorRT-7.0.0.11.Windows10.x86_64.cuda-10.2.cudnn7.6
  • OpenCV 3.4.3
  • CMake 3.9.16

代码版本：

  • yolov5 3.0
  • tensorrtx 3.0
git clone -b v3.0 https://github.com/ultralytics/yolov5.git
git clone -b yolov5-v3.0 https://github.com/wang-xinyu/tensorrtx.git

这里不得不说一下wang-xinyu的工作实在是太赞了！ 源码地址点这里

step 1. 下载yolov5源码以及tensorrtx源码，并将yolov5s.pt转为.wts模型

  • 将tensorrtx源码中的gen_wts.py复制到yolov5源码中并运行，生成.wts模型。
    在这里插入图片描述

step 2. 确定并下载自己准备使用的CUDA版本。

略
网址：cuda-toolkit
在这里插入图片描述

step 3. 根据自己的CUDA版本下载对应版本的cuDNN以及TensorRT

略
网址： cudnn
在这里插入图片描述

step 4. 根据自己使用的VS版本下载对应版本的OpenCV

略

step 5. 安装CUDA

安装cuda这里解答几点疑惑

  • 安装直接默认即可，不用设置不同的路径，设置相同路径不会互相影响。
  • 一台电脑安装可以安装多个cuda版本， 且不同版本之间不会覆盖
  • 不同版本的cuda之间的切换，只需将环境变量的路径置前即可。

我这里安装了两个cuda版本，所以有两个文件夹
在这里插入图片描述

step 6. 安装cuDNN、TensorRT以及验证TensorRT是否安装成功

1. 安装cuDNN

  • 1 将cuDNN压缩包解压
  • 2 将cuda\bin中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\bin
  • 3 将cuda\include中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\include
  • 4 将cuda\lib中的文件复制到 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2\lib

4步完成cuDNN安装

2. 安装TensorRT

  • 1 将TensorRT压缩包解压
  • 2 将 TensorRT-7.0.0.11\include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include
  • 3 将TensorRT-7.0.0.11\lib 中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\lib\x64
  • 4 将TensorRT-7.0.0.11\lib 中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin

4步完成TensorRT安装

3. 验证TensorRT是否安装成功

  • 1-用VS2015 打开 TensorRT-7.0.0.11\samples\sampleMNIST\sample_mnist.sln
  • 2- 在VS2015中，右键工程，选择属性->配置属性->常规->目标平台版本->8.1
  • 3- 在VS2015中，右键工程，选择属性->配置属性->常规->平台工具集->vs2015(v140)
  • 4- 右键工程->重新生成
  • 5- 用anaconda 进入TensorRT-7.0.0.11\data\mnist 目录，运行python download_pgms.py
  • 6- 进入TensorRT-7.0.0.11\bin，双击sample_mnist.exe，如果没有报错则说配置成功。

在这里插入图片描述

第6步运行出现如下结果，则说明配置成功
注：如果提示没有.pgm文件，则检查第5步是否下载了数据
在这里插入图片描述

step 7. 下载Cmake软件，利用Cmake软件编译生成yolov5的VS工程，测试并完成推理

1. 下载Cmake软件
略
2. 配置OpenCV环境变量

  • 1-新建一个系统变量OpenCV_DIR
  • 2- 在系统变量Path中添加OpenCV343路径

在这里插入图片描述

在这里插入图片描述
3. 修改tensorrtx/yolov5/CMakeLists.txt文件中的OpenCV和TensorRT路径

注： CMakeLists.txt为生成VS工程的配置文件，源码为作者的路径，需要设置成自己的路径，主要是 OpenCV和TensorRT的路径
在这里插入图片描述

4. 利用Cmake软件编译生成yolov5的VS工程

  • 1- 打开CMake
  • 2- source code 为源码的路径 build the binaries 为生成的VS工程的路径
  • 3- 路径设置完成后，点击左下方 Configure，然后选择VS的版本以及x64平台
  • 4- 点击Generate生成项目
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
注：配置时出现这样红色的警告忽略
在这里插入图片描述
注：最后一步生成报错也忽略，然后打开工程在这里插入图片描述

5. 打开yolov5的VS工程，生成engine模型

  • 1- 在刚刚设置的build the binaries 路径下，打开yolov5的工程
  • 2- 编译生成
  • 3- 可以看到在\tensorrtx\yolov5\build\Debug文件下生成了一个yolov5.exe文件
  • 4- cmd进入到\tensorrtx\yolov5\build\Debug目录下，然后执行yolov5.exe -s 命令, 可以看到在当前目录下生成了一个yolov5.engine文件，说明转换成功。
  • 5- 在\tensorrtx\yolov5\build\Debug目录下新建一个samples文件夹然后放入测试图片，最好通过cmd执行yolov5.exe -d ../samples，调用yolov5.engine进行测试

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最后打个广告，点个赞再走！

总结

在中间的过程中可能会出现以下问题：

  • 找不到dll，请检测自己的cuDNN，和TensorRT是否安装成功。
  • 如果有Assertion failed: engine != nullptr错误，请检查自己的TensorRT版本是否匹配。
  • 如果CMake生成的yolov5的VS工程编译不通过，请检查自己的cuda, cuDNN, 以及TensorRT的版本。

如果想进一步将YOLOv5模型封装成dll供其他模块调用可以参考另一篇博文：

yolov5部署之dll封装并调用的方法

GIF图效果演示如下：

在这里插入图片描述

＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

６６.如果需要封装远程技术支持请私信我

已帮助很多小伙伴实现了自己小项目
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

深夜跟小伙伴一起远程debug，虽然各种奇奇怪怪的报错，但也一起熬夜乐在其中
在这里插入图片描述

看到小伙伴的电脑上成功封装，并推理出结果，那一刻感觉互相所有的付出都是值得的，
在这里插入图片描述

#############################################################################

视觉与控制前沿公众号，第一时间获取最有价值的前沿视觉与控制文章。

在这里插入图片描述

公众号链接视觉与控制公众号

拓展

另推荐一门深蓝学院开设讲解TensorRT模型加速的线上课程，可以对TensorRT整体框架的细节理解和运用都能起到很好的帮助:

链接：深度神经网络加速 cuDNN 与 TensorRT

欢迎大家去我主页左侧扫码了解相关课程
Christo3
关注
专栏目录
【YOLO】yolov5+TensorRT推理
m0_37556124的博客
07-26 632
yolov5 int8 量化,TensorRT 是由英伟达公司推出的一款用于高性能深度学习模型推理的软件开发工具包，该软件开发工具包中包含了应用程序运行时环境和深度学习模型推理优化器，TensorRT 是采用 C++语言编写的高性能推理框架，可以在所有平台上提供 C++语言的实现，并且也能在 Linux 平台上提供 Python 语言的实现。同时，TensorRT 推理应用程序与英伟达的 GPU 结合可以提供最大的吞吐量和较低的延迟速度。
TensorRT部署YOLOv5(05)—图像推理
abcxy2161的博客
05-07 1097
在上一篇文章中，对构建TensorRT引擎进行了介绍，本文将详细介绍如何使用Python API通过TensorRT引擎加速，实现单幅图像的推断
使用Tensorrt对YOLOv5目标检测的代码进行加速
u014723479的博客
05-31 1989
最近在使用YOLOv5做apex的辅助，训练代码现在是写完了，在训练场中把禁止的假人还行，但是对于移动的目标，总是出现丢帧、追不上的问题。测了一下FPS，发现我的RTX2060上面的FPS只有3到5，这基本上相当于PPT的水平，自己的硬件一时半会没办法升级，但自己真的想把这个APEX的辅助给做完，所以只好通过代码加速的方法来曲线救国。从网上查到Tensorrt对于代码的加速效果非常好，所以下面开始动手尝试。先放一张目前辅助的识别效果。
C++ TensorRT部署实战：YOLOv5模型部署
最新发布
奇华资料的博客
10-08 210
TensorRT是英伟达官方提供的一个高性能深度学习推理优化库，支持C++和Python两种编程语言API。通常情况下深度学习模型部署都会追求效率，尤其是在嵌入式平台上，所以一般会选择使用C++来做部署。本文将以YOLOv5为例详细介绍如何使用TensorRT的C++版本API来部署ONNX模型，使用的TensorRT版本为8.4.1.5，如果使用其他版本可能会存在某些函数与本文描述的不一致。另外，使用TensorRT 7会导致YOLOv5的输出结果与期望不一致，请注意。本文以YOLOv5。
【目标检测】使用TensorRT加速YOLOv5
兴趣使然的创作者
10-24 1万+
此文描述了YOLOv5转TensorRT的详细步骤，并分别对图片和视频进行了实验。
tensorRT部署实战——yolov5
qq_41389330的博客
08-27 6813
yolov5的onnx简化到trt推理
【YOLOv5模型部署】——TensorRT推理引擎安装与使用&基于Flask的项目部署
weixin_51658186的博客
09-05 1581
算法要落地到实际应用，这就叫模型部署！模型部署是将训练好的机器学习或深度学习模型集成到实际应用中，使其能够对外提供服务的过程。主要包括在线部署和离线部署两种。
win10_yolov5_tensorRT
03-30
1，安装环境 CUDA10.2 张量RT7.2 OpenCV3.4（工程中已指定，不需安装） vs2015下载相关工程： : 2，生成yolov5s.wts文件 在生成yolov5s.wts前，首先需要模型。同时，需要我们安装环境。这里可以参考网上其他文章或github教程进行配置安装，这里不详加说明。 将tensorrtx-master\yolov5文件夹下的gen_wts.py拷贝到ultralytics/yolov5文件夹下 在当前目录下执行： python gen_wts.py 最终我们会在当前目录下得到一个yolov5s.wts文件。 3，vs2015环境建设 这里我们使用别人已经编好的库，下载连接： 。（注意：部分头文件，lib文件已在我之后的工程中命名，有需要的同学可以直接下载） 创建vs工程，命名为yolov5_Trt，重新连接tensorrtx-master
yolov5三种TensorRT推理过程
mddCSDN的博客
02-20 686
4、把生成的yolov5l_best.wts文件导入\tensorrtx-yolov5-v5.0\yolov5\build\Release文件下，使用指 令yolov5.exe -s yolov5l_best.wts yolov5l_best.engine l 通过yolov5.exe生成yolov5l best.engine，参数l根据训练模型来改，可以是s\m\I\x。
YOLOv5：TensorRT加速YOLOv5模型推理
FriendshipTang的博客
06-03 2066
Python、PyTorch、TensorRT、YOLOv5、目标检测
使用TensorRT C++部署YOLOv10实现GPU加速-C++源码与模型
06-04
该代码将演示如何使用NVIDIA TensorRT C++ API 部署YOLOv10目标检测模型，实现模型推理加速。经过测试，推理可以实现2ms所有，全流程包含前后处理仅有15ms左右。 此处提供了项目源码以及模型文件。
实战 | YOLOv8使用TensorRT加速推理教程（步骤 + 代码）
Color Space的博客
07-09 2996
这一步主要是安装根据自己的硬件安装GPU驱动，下载CUDNN等，以往的文章已经介绍过多次，可以点击下面的图片跳转到对应文章查看(点击图片跳转)。DeepSparse：专为稀疏模型设计的CPU推理运行时，可以有效加速基于WSL2的Windows环境下的推理。OpenVINO：Intel的推理工具套件，用于CPU上的模型优化和加速，支持量化和多种硬件加速。可以使用官网下载的模型也可以使用自己训练好的模型。保持框架最新：确保使用的深度学习框架版本是最新的，以获得最新的优化和bug修复。
（11）yolov5部署之七步完成tensorRT模型推理加速
yohnyang的博客
09-24 709
yolov5部署之七步完成tensorRT模型推理加速
NVIDIA Jetson YOLOv5 tensorRT部署和加速 C++版
黎国溥
05-12 7604
前言 在实现NVIDIA Jetson AGX Xavier 部署YOLOv5的深度学习环境，然后能正常推理跑模型后；发现模型速度不够快，于是使用tensorRT部署，加速模型，本文介绍C++版本的。 NVIDIA Jetson YOLOv5应用与部署_一颗小树x的博客-CSDN博客 版本介绍：yolov5 v6.0、tensorrtx；Jetpack 4.5 [L4T 32.5.0]、CUDA: 10.2.89。 我测试了 kitti 数据集的100张图片：加速后每一张图像，平均推理时间是22ms
yolov5的TensorRT模型加速资源
03-16
yolov5的TensorRT模型加速资源
yolov5 tensorrt
jacke121的专栏
10-23 4534
参照： https://github.com/hlld/tensorrt-yolov5 yololayer.h 修改自己类别个数： static constexpr int CLASS_NUM = 1; 下面是阈值参数，nms阈值参数： #define USE_FP16 // comment out this if want to use FP32 #define DEVICE 0 // GPU id #define NMS_THRESH 0.4 #d...
yolov5-tensorrt推理
weixin_41012399的博客
08-06 609
c接口的tensorrt，yolov5推理： https://github.com/linghu8812/tensorrt_inference/tree/master/yolov5
YOLOv5s部署在瑞芯微电子RK3399Pro中使用NPU进行加速推理
热门推荐
weixin_42200352的博客
08-19 1万+
0. 前言： 本文介绍了YOLOv5s算法在国产瑞芯微电子RK3399ProD上的部署推理，介绍整个的流程，并基于YOLOv5和RK3399Pro简单的介绍下RKNN的接口使用，并记录一些踩过的坑，希望能帮助到大家，避免踩坑。本文仅做交流使用，文中有什么理解的不到位的或者谬误，也希望大家能够交流下。 1. 部署流程 在服务器端或者电脑端进行训练，训练完成后将.pt文件转换成ONNX格式 电脑端使用rknn-toolkit1.6.0将ONNX模型转换成RKNN模型 RK3399Pro中进行模型推理
YOLOV5之TensorRT模型部署
10-26 5758
最近在研究yolov5代码，但是由于网速的原因在conda环境下配置安装环境失败，以及太多人使用conda环境安装，老是报错： conda安装库时报错Solving environment: failed with initial frozen solve. Retrying with flexible solve. pip install torch==1.6.0+cu101 torchvision==0.7.0+cu101 -f https://download.pytorch.org/whl/
利用python版tensorRT进行推理【以yolov5为例】
z240626191s的博客
10-19 9713
上一篇文章中已经详细叙述了如何用tensorRT将onnx转为engine。本篇文章将继续讲解trt的推理部分。与之前一样，在讲解之前需要先介绍一些专业术语，让大家看看这些内置函数都有什么功能。Binding翻译过来就是绑定。engine/context会给所有的输入输出安排位置。总共有个binding。这里借用一张图来说明，下面图中如果模型有两个输入张量x、y，两个输出张量index和entropy，那么engine和context会按照这四个张量的拓扑顺序给一个Binding。
评论 113
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Christo3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值