实战教程：win10环境下用TensorRT推理YOLOv5

已于 2022-10-01 11:06:32 修改
阅读量7.1k 收藏 85
点赞数 16
分类专栏： c++ tensorrt yolov5 文章标签： 计算机视觉 深度学习 tensorrt yolov5 c++
于 2022-05-05 23:54:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43917589/article/details/124598947
版权
c++ 同时被 3 个专栏收录
18 篇文章 2 订阅
订阅专栏
tensorrt
2 篇文章 0 订阅
订阅专栏
yolov5
1 篇文章 0 订阅
订阅专栏

本文章记录在win10环境下用TensorRT推理YOLOv5.
例子来源于大佬的项目：https://github.com/wang-xinyu/tensorrtx，但此工程是在ubuntu上开发，在win10部署上不友好，故特作此贴。此贴致敬清华大佬王鑫宇，向王鑫宇学习！

实战教程目录

1. 项目工程环境

本文所用的环境如下：

WIN 10
CUDA 10.2
CuDnn 7.6.5
TensorRT 7.2.3.4
OpenCV 4.3.0
VS 2019

2. VS的环境配置

本文不使用cmake建立VS工程，而是自己手动建立VS工程。
因此在配置VS环境之前，需要自己建立一个新的VS工程，并将yolov5下的头文件和源文件添加到VS中，如下图所示。
注意：cu文件时用cuda
在这里插入图片描述

2.1 配置头文件
将TensorRT的头文件、OpenCV的头文件、CUDA的头文件分别配置到VS的包含目录中，如下图所示。
在这里插入图片描述
2.2 配置库目录
将TensorRT的库目录、OpenCV的库目录、CUDA的库目录分别配置到VS的库目录中，如下图所示。
在这里插入图片描述
2.3配置链接库
将TensorRT的链接库、OpenCV的链接库、CUDA的链接库分别配置到VS的附加依赖项中，如下图所示。
在这里插入图片描述
CUDA的链接库如下：

cublas.lib
cublasLt.lib
cuda.lib
cudadevrt.lib
cudart.lib
cudart_static.lib
cudnn.lib
cudnn64_8.lib
cudnn_adv_infer.lib
cudnn_adv_infer64_8.lib
cudnn_adv_train.lib
cudnn_adv_train64_8.lib
cudnn_cnn_infer.lib
cudnn_cnn_infer64_8.lib
cudnn_cnn_train.lib
cudnn_cnn_train64_8.lib
cudnn_ops_infer.lib
cudnn_ops_infer64_8.lib
cudnn_ops_train.lib
cudnn_ops_train64_8.lib
cufft.lib
cufftw.lib
curand.lib
cusolver.lib
cusolverMg.lib
cusparse.lib
nppc.lib
nppial.lib
nppicc.lib
nppicom.lib
nppidei.lib
nppif.lib
nppig.lib
nppim.lib
nppist.lib
nppisu.lib
nppitc.lib
npps.lib
nvblas.lib
nvgraph.lib
nvjpeg.lib
nvml.lib
nvrtc.lib
OpenCL.lib

TensorRT的链接库如下：

nvparsers.lib
nvonnxparser.lib
nvinfer_plugin.lib
nvinfer.lib

OpenCV的链接库如下：

opencv_world430.lib

3. YOLOV5工程编译问题

3.1 dirent.h的问题
项目工程依赖头文件“dirent.h”，但dirent.h是ubuntu系统中的系统文件，windows系统没有。直接编译会出现如下错误：“dirent.h”: No such file or directory

没关系，只需要将 https://gitcode.net/mirrors/tronkko/dirent/-/tree/master/include下载下本地，将dirent.h直接放在工程目录下即可。同时将utils.h中的#include <dirent.h>改为#include “dirent.h”即可，如下图所示。
在这里插入图片描述

3.2 std::max和std::min的问题
在预处理定义中添加：NOMINMAX

同时，可能会有错误C4996 ‘localtime’: This function or variable may be unsafe. Consider using localtime_s instead. To disable deprecation, use _CRT_SECURE_NO_WARNINGS. See online help for details.
别担心，在预处理定义中添加：_CRT_SECURE_NO_WARNINGS

在这里插入图片描述

3.3 cu文件的处理
wang-xinyu的yolov5工程中有cu文件，需要单独用CUDA编译，具体操作为：
右键项目 → 生成依赖项 → 生成自定义 → 勾选“CUDA 10.2”，如下图所示：
如果你在“生成自定义”中找不到CUDA，可以看参考这篇博客
在这里插入图片描述

对yololayer.cu和preprocess.cu文件单独执行如下操作：右键点击cu文件，选择属性，再选择CUDA C/C++
在这里插入图片描述
3.4 xxx
此时你去编译项目，会出现“YoloPluginCreator::mFC" may not be initialized”的报错，笔者在网上寻找答案，找到的答案是在cmakefiles.txt 增加add_definitions(-DAPI_EXPORTS)，但是本文不依赖cmkake，因此只需要在macros.h文件中添加#define API_EXPORTS即可，如下图所示。
在这里插入图片描述

4.模型转换与推理

TensorRT理论上可以直接推理ONNX和engine模型。
在使用TensorRT推理模型之前，一般都有模型转换的过程。

yolov5的模型转换：首先将.pt 转.wts ，再将.wts转.engine。

注意：转换yolov5模型时依赖yolov5的原工程 https://github.com/ultralytics/yolov5
，需要将yolov5的原工程下载到本地。

https://github.com/wang-xinyu/tensorrtx 的yolov5工程下有脚本文件gen_wts.py，将gen_wts.py放到yolov5的原工程下，如下图所示：
在这里插入图片描述

在yolov5的原工程下，执行如下脚本，得到yolov5s.wts模型文件。

python gen_wts.py -w yolov5s.pt

把下载的yolov5.wts放在编译生成的release目录，运行下面的命令产生yolov5s.engine文件。

yolov5_tensorrt.exe -s yolov5s.wts yolov5s.engine s

模型推理：

yolov5_tensorrt.exe -d yolov5s.engine ./image_dir

GPU为英伟达GTX 1060，CPU为Intel i7八代，推理时间如下图。
在这里插入图片描述
推理效果图如下：
在这里插入图片描述

备注：本文借鉴了博客一和博客二。

脆皮茄条
关注
  • 16
    点赞
  • 踩
  • 85
    收藏
    觉得还不错? 一键收藏
  • 21
    评论
专栏目录
【YOLO】yolov5+TensorRT推理
m0_37556124的博客
07-26 527
yolov5 int8 量化,TensorRT 是由英伟达公司推出的一款用于高性能深度学习模型推理的软件开发工具包，该软件开发工具包中包含了应用程序运行时环境和深度学习模型推理优化器，TensorRT 是采用 C++语言编写的高性能推理框架，可以在所有平台上提供 C++语言的实现，并且也能在 Linux 平台上提供 Python 语言的实现。同时，TensorRT 推理应用程序与英伟达的 GPU 结合可以提供最大的吞吐量和较低的延迟速度。
基于jetson平台使用tensorRT加速推理yolov5的两种方法
04-19
### 基于Jetson平台使用TensorRT加速推理YOLOv5的两种方法 #### 一、背景介绍 随着深度学习技术的不断发展，越来越多的深度学习模型被部署到了嵌入式平台上，例如NVIDIA的Jetson系列设备。然而，在这些资源受限的...
yolov7 的win10 tensorrt推理 c++ 版本
01-27
tensorrtx/yolov7 at master · wang-xinyu/tensorrtx · GitHub yolov7的win10 cuda11.4.3 cudnn8.2 tensorrt8.2.1.8 推理
win10_yolov5_tensorRT
03-30
1，安装环境 CUDA10.2 张量RT7.2 OpenCV3.4（工程中已指定，不需安装） vs2015下载相关工程： : 2，生成yolov5s.wts文件 在生成yolov5s.wts前，首先需要模型。同时，需要我们安装环境。这里可以参考网上其他文章或github教程进行配置安装，这里不详加说明。 将tensorrtx-master\yolov5文件夹下的gen_wts.py拷贝到ultralytics/yolov5文件夹下 在当前目录下执行： python gen_wts.py 最终我们会在当前目录下得到一个yolov5s.wts文件。 3，vs2015环境建设 这里我们使用别人已经编好的库，下载连接： 。（注意：部分头文件，lib文件已在我之后的工程中命名，有需要的同学可以直接下载） 创建vs工程，命名为yolov5_Trt，重新连接tensorrtx-master
yolov5-7.0目标识别使用Tensorrt推理（C++Api）
最新发布
m0_66380820的博客
07-19 355
程序里主要有logging.h和utils.h两个基础的头文件，还有含推理程序的yolo.hpp，我将主要的推理程序都封装在一个类里面了，后续需要使用时直接new一个就可以直接使用了。我们使用 Netron打开对应onnx模型，可以看到images和output0参数与模型一一对应，一般我们训练自己的模型都会修改CLASSES，根据自己参数对应修改即可。我自己通常使用C#编写上位机程序，所以一般都是将C++封装成DLL使用。测试使用的话直接new一个，然后使用里面的函数即可，下面给出例子。
YOLOv5：TensorRT加速YOLOv5模型推理
FriendshipTang的博客
06-03 1829
Python、PyTorch、TensorRT、YOLOv5、目标检测
yolov5 tensorrt 推理实战
luoganttcc的博客
03-23 298
第一步 下载yolov5 git clone https://github.com/ultralytics/yolov5.git 第二步 下载 yolov5s.pt cd yolov5 wget https://github.com/ultralytics/yolov5/releases/download/v6.0/yolov5s.pt 第三步 python export.py --weights yolov5s.pt --include onnx 第四步 将onnx ..
yolov5-tensorrt推理
weixin_41012399的博客
08-06 587
c接口的tensorrt，yolov5推理： https://github.com/linghu8812/tensorrt_inference/tree/master/yolov5
TensorRT加速项目-使用TensorRT部署YOLOv4项目-darknet+pytorch-项目实战-附完整流程教程
01-18
本项目将详细介绍如何使用TensorRT来加速YOLOv4模型的部署，结合darknet和pytorch框架，提供完整的实战教程。 **YOLOv4** YOLO（You Only Look Once）是一种实时目标检测系统，以其快速和准确的特性在目标检测领域...
TensorRT-使用TensorRT部署YOLOv7算法-优质算法部署项目实战.zip
02-28
在本项目实战中，我们将深入探讨如何利用NVIDIA的高性能深度学习推理库TensorRT来部署YOLOv7目标检测算法。YOLO（You Only Look Once）系列是著名的实时目标检测框架，而YOLOv7是其最新版本，以其速度与精度的平衡而...
YOLOv9-使用TensorRT部署YOLOv9目标检测算法-支持Python+Cpp-优质算法部署项目实战.zip
03-15
本项目实战旨在教你如何将YOLOv9模型利用TensorRT进行部署，以实现更快的推理速度和更低的资源消耗。项目支持Python和C++两种编程语言，使得开发者可以根据自己的需求选择合适的接口进行集成。 首先，了解YOLOv9...
win10_yolov5_tensorRT.rar
12-19
自己辛苦整理的原创yolov5+deepsort，纯C++实现。支持答疑，一直做有意义的事情； 多目标跟踪，用C++实现，部署到Nvidia上，tensorrt加速，最新的yolov5部署，支持s,m,l模型和int8,FP16等选择，而且拿来即用，自己再win10安装上驱动可以立即使用，不用在自己配置，支持答疑。自己辛苦整理的，求大佬打赏一顿饭钱。苦苦苦、平时比较比忙，自己后期会继续发布真实场景项目；欢迎下载。
利用python版tensorRT进行推理【以yolov5为例】
z240626191s的博客
10-19 9011
上一篇文章中已经详细叙述了如何用tensorRT将onnx转为engine。本篇文章将继续讲解trt的推理部分。与之前一样，在讲解之前需要先介绍一些专业术语，让大家看看这些内置函数都有什么功能。Binding翻译过来就是绑定。engine/context会给所有的输入输出安排位置。总共有个binding。这里借用一张图来说明，下面图中如果模型有两个输入张量x、y，两个输出张量index和entropy，那么engine和context会按照这四个张量的拓扑顺序给一个Binding。
yolov5三种TensorRT推理过程
mddCSDN的博客
02-20 624
4、把生成的yolov5l_best.wts文件导入\tensorrtx-yolov5-v5.0\yolov5\build\Release文件下，使用指 令yolov5.exe -s yolov5l_best.wts yolov5l_best.engine l 通过yolov5.exe生成yolov5l best.engine，参数l根据训练模型来改，可以是s\m\I\x。
YOLO v5 python版本TensorRT推理
kui9702的博客
05-10 1471
YOLO v5 TensorRT推理 #include "iostream" #include "NvInfer.h" #include <fstream> #include <sstream> #include <assert.h> #include <vector> #include <numeric> #include "opencv2/opencv.hpp" #include <algorithm> #include <m
TensorRT加速推理（基于yolo5）
2301_78556110的博客
12-30 602
E:\yolov5-master\yolov5-master\yolov5s.pt (yolov5s.pt路径)E:\yolov5-master\yolov5-master\export.py (export.py路径)（E:\TensorRT\TensorRT-8.5.3.1\bin\trtexec）打开cmd终端命令：输出。在yolov5环境变量的终端输出：（直接python终端也可）--橙色字为自己的文件路径。（必须在自己的TensorRT的trtexec.exe文件夹下）生成engine加速文件。
win10环境实现yolov5 TensorRT加速试验(环境配置+训练+推理)
AI小花猫的博客
05-18 4207
基于yolov5-6.1进行环境配置+训练+模型转换+部署推理
win10下yolov5 tensorrt模型部署
整理ing
10-22 648
win10下，yolov5 tensorrt模型部署
tensorrt推理yolov5流程Python
05-28
TensorRT是NVIDIA开发的高性能推理引擎，可以用于加速深度学习模型的推理。而YoloV5是一种目标检测模型，可以用于检测图像中的物体。 下面是使用TensorRT进行YoloV5推理的Python流程： 1. 导入必要的库和模块： ```python import tensorrt as trt import pycuda.driver as cuda import pycuda.autoinit import numpy as np import cv2 import os import time ``` 2. 加载YoloV5模型并构建TensorRT引擎： ```python def build_engine(onnx_file_path, engine_file_path): TRT_LOGGER = trt.Logger(trt.Logger.WARNING) builder = trt.Builder(TRT_LOGGER) explicit_batch = 1 << (int)(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH) network = builder.create_network(explicit_batch) parser = trt.OnnxParser(network, TRT_LOGGER) with open(onnx_file_path, 'rb') as model: if not parser.parse(model.read()): for error in range(parser.num_errors): print(parser.get_error(error)) return None builder.max_batch_size = 1 builder.max_workspace_size = 1 << 30 engine = builder.build_cuda_engine(network) with open(engine_file_path, "wb") as f: f.write(engine.serialize()) return engine ``` 3. 加载TensorRT引擎： ```python def load_engine(engine_file_path): with open(engine_file_path, "rb") as f, trt.Runtime(TRT_LOGGER) as runtime: engine = runtime.deserialize_cuda_engine(f.read()) return engine ``` 4. 加载测试图片并预处理： ```python def preprocess(image, input_shape): image = cv2.resize(image, (input_shape[1], input_shape[0])) image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image = np.transpose(image, (2, 0, 1)).astype(np.float32) image /= 255.0 image = np.expand_dims(image, axis=0) return image ``` 5. 执行推理： ```python def do_inference(context, bindings, inputs, outputs, stream, batch_size=1): [cuda.memcpy_htod_async(inp.device, inp.host, stream) for inp in inputs] context.execute_async(bindings=bindings, batch_size=batch_size, stream_handle=stream.handle) [cuda.memcpy_dtoh_async(out.host, out.device, stream) for out in outputs] stream.synchronize() return [out.host for out in outputs] ``` 6. 解析推理结果： ```python def postprocess(outputs, anchors, masks, input_shape, image_shape, conf_thres=0.5, iou_thres=0.5): num_classes = 80 num_anchors = 3 num_layers = 3 anchor_masks = masks anchors = np.array(anchors).reshape(num_layers, -1, 2) input_h, input_w = input_shape image_h, image_w, _ = image_shape scale_h, scale_w = image_h / input_h, image_w / input_w box_mins = np.zeros((0, 2)) box_maxes = np.zeros((0, 2)) box_classes = np.zeros((0)) box_scores = np.zeros((0)) for i in range(num_layers): grid_h, grid_w = input_h // 32 // (2 ** i), input_w // 32 // (2 ** i) outputs_i = outputs[i] outputs_i = np.reshape(outputs_i, (batch_size, num_anchors * (5 + num_classes), grid_h * grid_w)).transpose(0, 2, 1) outputs_i[..., :2] = 1 / (1 + np.exp(-outputs_i[..., :2])) outputs_i[..., 2:4] = np.exp(outputs_i[..., 2:4]) outputs_i[..., 4:] = 1 / (1 + np.exp(-outputs_i[..., 4:])) anchors_scale = anchors[i] anchors_scale = anchors_scale[np.newaxis, :, :] box_xy = outputs_i[..., :2] box_wh = outputs_i[..., 2:4] box_confidence = outputs_i[..., 4:5] box_class_probs = outputs_i[..., 5:] box_xy += (np.arange(grid_w, dtype=np.float32) + 0.5)[np.newaxis, :, np.newaxis] box_xy += (np.arange(grid_h, dtype=np.float32) + 0.5)[:, np.newaxis, np.newaxis] box_xy *= 32 * (2 ** i) box_wh *= anchors_scale box_wh *= np.array([image_w / input_w, image_h / input_h])[np.newaxis, np.newaxis, :] box_mins = np.concatenate([box_mins, box_xy - box_wh / 2], axis=0) box_maxes = np.concatenate([box_maxes, box_xy + box_wh / 2], axis=0) box_scores = np.concatenate([box_scores, box_confidence], axis=0) box_classes = np.concatenate([box_classes, np.argmax(box_class_probs, axis=-1).flatten()], axis=0) boxes = np.concatenate([box_mins, box_maxes], axis=-1) boxes /= np.array([scale_w, scale_h, scale_w, scale_h])[np.newaxis, :] nms_indices = cv2.dnn.NMSBoxes(boxes.tolist(), box_scores.flatten().tolist(), conf_thres, iou_thres) results = [] for i in nms_indices: i = i[0] box = boxes[i] score = box_scores.flatten()[i] label = box_classes.flatten()[i] results.append((box[0], box[1], box[2], box[3], score, label)) return results ``` 完整代码请参考：https://github.com/wang-xinyu/tensorrtx/tree/master/yolov5 需要注意的是，使用TensorRT进行YoloV5推理需要先将YoloV5模型转换为ONNX格式，然后再使用TensorRT构建引擎。
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值