YOLOv5 Tensorrt dll库Python部署

已于 2022-05-18 21:16:53 修改
阅读量1.5k 收藏 13
点赞数 6
文章标签： python opencv 计算机视觉 目标检测
于 2022-05-10 16:33:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xingege_/article/details/124686766
版权
本文详细介绍了如何在Windows上配置TensorRT 7环境，用于加速YOLOv5模型，并指导了从yolov5s.wts模型生成、CMake配置到C++和Python部署的全过程，适合深度学习开发者快速上手。
摘要由CSDN通过智能技术生成

简介

  • 基于Tensorrt加速Yolov5 6.0

目录

简介

环境配置

TensorRT7

环境配置

 测试

 yolov5s.wts生成

Cmake过程

 编译

C++运行

Python部署

环境配置

TensorRT7

环境配置

1、在tensorrt官网下载适用于Windows平台的版本 下载地址

2、将TensorRT/lib下所有lib复制到cuda/v10.2/lib/x64下，将TensorRT/lib下所有dll复制到cuda/v10.2/bin下,将TensorRT/include下所有.h文件复制到cuda/v10.2/include下

3、我的电脑->属性->高级系统设置->环境变量，在系统变量中找到Path（如没有，自行创建），并双击编辑，将TensorRT/lib路径填入并保存，如G:\c++\TensorRT-8.2.1.8\lib

打开本仓库的CMakeLists.txt，修改Opencv、Tensorrt、dirent.h的目录，其中dirent.h在本仓库的include中，须绝对路径。修改arch=compute_61;code=sm_61，参考https://developer.nvidia.com/zh-cn/cuda-gpus，我的GPU为GTX1050，计算能力6.1，所以这边设置为arch=compute_61;code=sm_61。

 

 VS2019配置
此处对sampleMNIST示例进行测试，进入到A:\tensorrt_tar\TensorRT7.0.0.11\samples\sampleMNIST目录下，选择sample_mnist.sln用vs2019打开文件
然后依次点击 项目—>属性—>VC++目录
将

A:\tensorrt_tar\TensorRT-7.0.0.11\lib

分别加入可执行文件目录及库目录里
将

A:\tensorrt_tar\TensorRT-7.0.0.11\include

加入C/C++ —> 常规 —> 附加包含目录
将nvinfer.lib、nvinfer_plugin.lib、nvonnxparser.lib和nvparsers.lib加入链接器–>输入–>附加依赖项

 

 

 测试

选取Release x64平台

 显示成功后，便点击 调试—>开始执行(不调试)(H)

image-20210826222446596

 最后生成如下图所示结果，则测试成功

image-20210826222500798

 yolov5s.wts生成

将gen_wts.py文件复制到开始下载的YOLOv5项目(yolov5-6.0)文件夹中

 在此文件夹中cmd打开激活虚拟环境

python gen_wts.py -w renyuanbest.pt -o renyuanbest.wts

 运行完毕后，目录下会生成wts模型

Cmake过程

在目录下新建一个build文件夹

 修改  #1 #2 #3 文件目录

cmake_minimum_required(VERSION 2.6)

project(yolov5) 

#change to your own path
##################################################
set(OpenCV_DIR "A:\opencv455\build")  #1
set(TRT_DIR "A:\tensorrt_tar\TensorRT-7.0.0.11")   #2
set(Dirent_INCLUDE_DIRS "A:\tensorrt_tar\Yolov5_Tensorrt_Win10-master\include") #3
##################################################

add_definitions(-std=c++11)
add_definitions(-DAPI_EXPORTS)
option(CUDA_USE_STATIC_CUDA_RUNTIME OFF)
set(CMAKE_CXX_STANDARD 11)
set(CMAKE_BUILD_TYPE Debug)

set(THREADS_PREFER_PTHREAD_FLAG ON)
find_package(Threads)

# setup CUDA
find_package(CUDA REQUIRED)
message(STATUS "    libraries: ${CUDA_LIBRARIES}")
message(STATUS "    include path: ${CUDA_INCLUDE_DIRS}")
include_directories(${CUDA_INCLUDE_DIRS})
include_directories(${Dirent_INCLUDE_DIRS}) 

#change to your GPU own compute_XX
###########################################################################################
set(CUDA_NVCC_FLAGS ${CUDA_NVCC_FLAGS};-std=c++11;-g;-G;-gencode;arch=compute_61;code=sm_61)
###########################################################################################

####
enable_language(CUDA)  # add this line, then no need to setup cuda path in vs
####
include_directories(${PROJECT_SOURCE_DIR}/include)
include_directories(${TRT_DIR}\\include)

# -D_MWAITXINTRIN_H_INCLUDED for solving error: identifier "__builtin_ia32_mwaitx" is undefined
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11 -Wall -Ofast -D_MWAITXINTRIN_H_INCLUDED")

# setup opencv
find_package(OpenCV QUIET
    NO_MODULE
    NO_DEFAULT_PATH
    NO_CMAKE_PATH
    NO_CMAKE_ENVIRONMENT_PATH
    NO_SYSTEM_ENVIRONMENT_PATH
    NO_CMAKE_PACKAGE_REGISTRY
    NO_CMAKE_BUILDS_PATH
    NO_CMAKE_SYSTEM_PATH
    NO_CMAKE_SYSTEM_PACKAGE_REGISTRY
)

message(STATUS "OpenCV library status:")
message(STATUS "    version: ${OpenCV_VERSION}")
message(STATUS "    libraries: ${OpenCV_LIBS}")
message(STATUS "    include path: ${OpenCV_INCLUDE_DIRS}")

include_directories(${OpenCV_INCLUDE_DIRS})
link_directories(${TRT_DIR}\\lib)

add_executable(yolov5 ${PROJECT_SOURCE_DIR}/yolov5.cpp ${PROJECT_SOURCE_DIR}/yololayer.cu ${PROJECT_SOURCE_DIR}/yololayer.h ${PROJECT_SOURCE_DIR}/preprocess.cu) 

target_link_libraries(yolov5 "nvinfer" "nvinfer_plugin")  
target_link_libraries(yolov5 ${OpenCV_LIBS})     
target_link_libraries(yolov5 ${CUDA_LIBRARIES})  
target_link_libraries(yolov5 Threads::Threads)

点击configure。

第二个框中选择x64，之后点击finish

 

一切正常之后点击generate，

 

最后点击open project。

 

 编译

打开项目后，在左侧解决方案资源管理器中，一次展开yolov5,header files,打开yololayer.h文件，特别注意修改文件中的修改为自己的模型类别数，输入大小，若没有修改，会运行报错！！将界面上方Debug改为Release，右键yolov5项目，点击重新生成。

 

编译成功会打开build/Release，可以看到生成的exe可执行文件。

 

C++运行

将第一步生成的renyuanbest.wts模型复制到exe的文件夹中，在这个目录下打开cmd输入

yolov5 -s renyuanbest.wts renyuanbest.engine s

 正常运行，此时程序在将wts转换为engine序列化模型，需要等待预计10-20分钟左右。

生成engine完成后，会在文件夹下出现renyuanbest.engine模型。将pictures文件夹复制到exe文件夹下，尝试预测是否正确，输入：

yolov5 -d renyuanbest.engine ./pictures

Python部署

C++的代码预测只能通过文件夹内的图片，对于视频流或摄像头预测需要修改代码，且目前很多项目都是基于python语言完成，故本仓库提供了python的部署方法。在刚才的C++工程中右键yolov5，点击属性。

 

 重新生成，文件夹下会出现yolov5.dll，将python_trvideo.py复制到dll文件夹下。

设置模型路径，dll路径特别注意模型路径需要加b’'！！

det = Detector(model_path=b"./renyuanbest.engine",dll_path="./yolov5.dll")  # b'' is needed

直接运行python_trtvideo.py即可

参考资料

YOLOv5 Tensorrt Python/C++部署_一笑奈何LHY的博客-CSDN博客_yolov5部署到c++

xingege_
关注
yolov8实战第三天——yolov8TensorRT部署（python推理）（保姆教学）
qq_34717531的博客
12-26 1万+
TensorRT是一种，可以为深度学习应用提供的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。一般的深度学习项目，训练时为了加快速度，会使用多GPU分布式训练。
yolov8实战第六天——yolov8 TensorRT C++ 部署——（踩坑，平坑，保姆教程）
qq_34717531的博客
01-17 8874
TensorRT 通过优化深度学习模型来提高推理速度，减少延迟。这对于实时处理应用（如视频分析、机器人导航等）至关重要。：TensorRT 优化了模型以在GPU上高效运行，这意味着更低的内存占用和更高的吞吐量。对于资源受限的环境或在多任务并行处理的情况下，这是一个显著优势。：C++ 是一种跨平台语言，配合 TensorRT，可以在多种硬件和操作系统上部署深度学习模型，包括嵌入式设备和服务器。：TensorRT 提供了精确的数学和统计方法来减少浮点运算误差，这对于确保深度学习应用的准确性和稳定性至关重要。
yolov5_tensorrt_dll c++动态链接库接口
09-06
实际应用中，需要把生成的engine和推理程序给c#,java或者各种调用，可以把它写为一个对外的接口，供给别人使用。
Python部署YOLOV5-cpu环境快速体验目标检测
CSDN1621564706的博客
06-09 701
【代码】Python部署YOLOV5-cpu环境快速体验目标检测。
yolov5-7.0目标识别使用Tensorrt推理（C++Api）
最新发布
m0_66380820的博客
07-19 419
程序里主要有logging.h和utils.h两个基础的头文件，还有含推理程序的yolo.hpp，我将主要的推理程序都封装在一个类里面了，后续需要使用时直接new一个就可以直接使用了。我们使用 Netron打开对应onnx模型，可以看到images和output0参数与模型一一对应，一般我们训练自己的模型都会修改CLASSES，根据自己参数对应修改即可。我自己通常使用C#编写上位机程序，所以一般都是将C++封装成DLL使用。测试使用的话直接new一个，然后使用里面的函数即可，下面给出例子。
Yolov5+TensorRT-生成dll-python/c++调用dll
热门推荐
qq_44464101的博客
01-06 1万+
Yolov5+TensorRT+Dll,python和c++调用dll实现图像和视频检测
win10_yolov5_tensorRT
03-30
1，安装环境 CUDA10.2 张量RT7.2 OpenCV3.4（工程中已指定，不需安装） vs2015下载相关工程： : 2，生成yolov5s.wts文件 在生成yolov5s.wts前，首先需要模型。同时，需要我们安装环境。这里可以参考网上其他文章或github教程进行配置安装，这里不详加说明。 将tensorrtx-master\yolov5文件夹下的gen_wts.py拷贝到ultralytics/yolov5文件夹下 在当前目录下执行： python gen_wts.py 最终我们会在当前目录下得到一个yolov5s.wts文件。 3，vs2015环境建设 这里我们使用别人已经编好的库，下载连接： 。（注意：部分头文件，lib文件已在我之后的工程中命名，有需要的同学可以直接下载） 创建vs工程，命名为yolov5_Trt，重新连接tensorrtx-master
yolov5动态链接库DLL导出(TensorRT)
qq_52859223的博客
04-23 5317
延续上一篇tTensorRT部署yolov5，大家可以使用生成的yolov5.exe进行终端命令或者VS里面使用命令代码进行检测，但是这样看起来很繁琐很臃肿，有些同学想调用他做一个QT界面啥的，直接调用这个dll就可以进行推理又方便还很快，大家也可以去原博主下面查看， 首选i保证你看了我的第一篇tensort推理yolov5，我们打开cmake编译程序的工程目录： 一.文件创建: 导出库必要文件：dllmain.cpp,framework.h,就在当前工程下面建立这两个文件 // dl....
YOLOV5 tensorrt c++部署dll python调用
01-31
通过c++对yolov5推理封装成dll，用python调用增加速度和准确度，同时拜托torch的依赖
九、yolov8 tensorRT c++目标检测部署和推理（保姆级教程&附源码）
机器视觉、深度学习、C++、opencv、halcon、图像算法
06-26 296
yolov8 tensorRT c++目标检测部署和推理（保姆级教程&附源码），目标检测部署，目标检测c++推理，c++推理源码
2-python opencv 实现深度学习yolov5部署
yaominh_2017的博客
01-20 636
python实现深度学习yolov5部署问题
yolov5封装成dll
06-11
yolov5封装成dll的.cpp和.h文件
yolov5_models.zip
06-24
YOLOv5模型下载，可通过训练好的模型实现YOLOv5目标检测，相比YOLOv4，检测速度更快，体积更小
tensorrt+yolov5dll部署
小冯working的博客
01-06 1272
至此，yolov5.dll文件的生成和利用c++和python调用就完成了。下面博客还会介绍自己利用C#调用yolov5.dll的过程，同时结合一些图像处理库软件。
yolov5s利用tensorRT部署并转dll文件
Fan1534的博客
10-13 608
（2）tensorrt: export failure 0.0s: No module named 'tensorrt'：问题是说tensorrt没有正确安装成功，但是我是根据视频的教程一步一步来的，于是我就想卸载重装，但是在终端中删除这个库的时候出现了错误，说我没装这个库，警告的信息如下。这个问题是说cuda不可用，最终发现就是cuda没有正确安装，要安装cuda的GPU版本， cudnn，并且torch和torchvision的版本都要与cuda对应，缺一不可。
yolov5-tensorrrt 的dll封装 vs2019调用
wfwwfw123的博客
01-26 920
转载自打开cmake编译程序的工程目录，源码可下载链接：https://pan.baidu.com/s/1NwxWqNraFdDYq-aL3uhwpQ提取码：ZXL1。
TensorRT+yolov5+win10+VS2019+dll
qianxun
09-23 1242
新建dll工程文件，导出dll，将dll放置项目工程文件下。 int main() { cv::Mat img; img = cv::imread(img_dir); yolov5trt::init(); yolov5trt::detect_yolov5(wts_name,engine_name,img,res2); cv::namedWindow("img", cv::WINDOW_NORMAL); cv::imshow("img", img.
基于 TensorRT 使用 python 进行推理优化， 以YOLOv5 为例
shiter编写程序的艺术
04-21 700
TensorRT是NVIDIA推出的一个高性能的深度学习推理框架，可以让深度学习模型在NVIDIA GPU上实现低延迟，高吞吐量的部署。TensorRT支持Caffe，TensorFlow，Mxnet，Pytorch等主流深度学习框架的部署。TensorRT底层为C++库，NVIDIA为其提供了C++ API和Python API，主要在NVIDIA GPU以实现高性能的推理(Inference)加速。
使用TensorRT对Yolov5进行部署【基于Python】
豫州刺史
12-18 1144
model：就是需要转为ONNX的pth模型，只有源模型的结构和权重，才能转化为有效的ONNX模型。：如果启用了动态模式（dynamic=True），则将模型转移到CPU上进行导出；否则使用原始的模型。: 如果启用了动态模式，将输入张量转移到CPU上进行导出；否则使用原始的输入张量。为什么要把模型和输入数据转移到CPU上？CPU 是所有计算环境中最通用和兼容的硬件。当你将一个模型导出为一个通用格式，如 ONNX，目的通常是确保它可以在不同的环境和硬件上运行。
yolov5 TensorRT c#
05-14
Yolov5 is a popular object detection algorithm and TensorRT is a high-performance deep learning inference engine developed by NVIDIA. TensorRT can be used to optimize and accelerate the inference of Yolov5 models on NVIDIA GPUs. As for using Yolov5 TensorRT with C#, you can use the TensorRT C++ API to write a C++ program that can be called from C# using interop. Alternatively, you can use a wrapper library such as TensorRTSharp or TensorRT.NET to simplify the process of using TensorRT with C#. Here are the basic steps to use Yolov5 TensorRT with C#: 1. Train and export Yolov5 model in a supported format such as ONNX or TensorFlow. 2. Use TensorRT to optimize the model for inference on NVIDIA GPUs. 3. Write a C++ program that uses the TensorRT C++ API to load and run the optimized model. 4. Compile the C++ program as a DLL. 5. Use interop to call the C++ DLL from C# and pass the input image to the Yolov5 TensorRT model for object detection. Note that using Yolov5 TensorRT with C# requires a good understanding of C++, interop, and deep learning. It may also require some experimentation and tuning to achieve optimal performance.
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值