Vs21019 tensorRT 加速yolov5 生成engine推理模型(C++)

所需软件/组件

Vs2019

【精选】visual studio 2019安装教程(详细的很)_vs2019安装教程-CSDN博客

opencv

如何在VS2019中配置OpenCV_vs2019 opencv-CSDN博客

Cuda

【精选】CUDA安装教程(超详细)_Billie使劲学的博客-CSDN博客

(注意!这个连接教程中并未勾选)

一定要勾选,否则报错找不到cuda

Cudnn (上面的连接里包含了cudnn安装,很详细)

CMake

CMake的安装(超级详细)_cmake安装_小码1111的博客-CSDN博客

Yolo源码

https://raw.gitcode.com/mirrors/monday-leo/yolov5_tensorrt_win10/archive/refs/heads/master.zipicon-default.png?t=N7T8https://raw.gitcode.com/mirrors/monday-leo/yolov5_tensorrt_win10/archive/refs/heads/master.zip

TensorRT

【模型部署】TensorRT的安装与使用_tensorrt部署-CSDN博客

CMake编译模型

(将yolov5的模型放在一个方便找到的文件夹目录下后面要用)

  1. 在yolov5的源文件夹下手动添加一个名为bulid的文件(Yolov5_Tensorrt_Win10-master\bulid)

  2. 修改yolov5源码文件中的CMakeLists.txt文件

(如何查看自己计算机算力)👇👇连接直达

Windows查看当前显卡算力_怎么查看显卡的算力_yikang.的博客-CSDN博客

打开CMake运行启动VS运行yolov5.cpp文件

 将活动解决方案配置更改为Release,活动解决方案平台改为x64

这里运行yolov5.cpp文件后在bulid文件下会生成Release文件

打开yolov5源码文件中的gen_wts.py文件(用来生成WTS模型)

(将YOLOV5文件中的models文件添加到yolov5源码中)

(将YOLOV5文件中的utils文件添加到yolov5源码中)

(将YOLOV5文件中的yolov5s.pt文件添加到yolov5源码中)

(👆👆👆与yolov5源码并不是一个,没有可自行下载,运行yolov5中的train.py文件会自动生成yolov5.pt文件)

更改gen_wts.py文件

将gen_wts.py文件中第10行添加自己的权重文件

将gen_wts.py文件中第11行添加自己要生成的文件

(这是生成了yolov5s.wts文件,放在自己创建的build文件下Release文件夹中

使用终端运行

Release文件夹下使用终端打开,运行./yolov5 -s yolov5s.wts yolov5s.engine s命令

(生成yolov5s.engine文件)

新建文件夹放入两张带人的图片用来测试效果

在终端运行yolov5 -d yolov5s.engine ./自己的图像文件夹名(会在文件中自动生成结果图像)

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 很抱歉,我是一名语言模型AI,无法进行操作和编程。但是,我可以为您提供一些相关信息。TensorRT是一种高性能深度学习推理库,可以加速模型的推理速度。YoloV5是一种目标检测算法,可以用于检测图像或视频中的物体。在Windows上使用TensorRT加速YoloV5,您需要先安装TensorRTYoloV5,并将YoloV5模型转换为TensorRT格式。然后,您可以使用TensorRT API加载和推理模型,从而加速YoloV5推理速度。具体操作步骤可以参考TensorRTYoloV5的官方文档。 ### 回答2: TensorRT是NVIDIA为深度学习框架提供的高性能推理引擎。YoloV5是一种经典的目标检测算法,具有较高的准确率和实时性能。在Windows系统中,使用TensorRT可以加速YoloV5推理速度,以实现更高效的目标检测。 要在Windows上使用TensorRT加速YoloV5,需要执行以下几个步骤: 1. 安装TensorRT和深度学习框架:在Windows系统中,TensorRT可以通过官方网站下载安装包进行安装。目前,TensorRT支持PyTorch、TensorFlow等多种深度学习框架,用户应根据自己的需要选择合适的框架。 2. 编译YoloV5YoloV5的源代码可以从官方GitHub库中获取。在Windows系统中,需要使用Visual Studio等工具编译源代码,并生成可执行文件。 3. 应用TensorRT进行推理加速:将编译后的YoloV5可执行文件加载至TensorRT中,并使用NVIDIA GPU进行推理加速。 在使用TensorRT加速YoloV5时需要注意的一些问题: 1. 版本兼容性:TensorRT和深度学习框架的不同版本可能存在兼容性问题,用户需要根据官方文档提供的信息选择合适的版本。 2. TensorRT配置:用户需要根据自己的硬件配置和应用场景,对TensorRT引擎进行合理的配置。主要包括模型优化、内存使用方式、线程数等方面。 3. 精度损失:使用TensorRT进行推理加速可能会导致精度的损失,用户需要评估自己的应用场景,权衡速度和精度之间的平衡。 综上所述,使用TensorRT加速YoloV5是一种有效的推理加速方法,在Windows系统中也可以实现。用户需要根据自己的实际需求和硬件配置,选择合适的TensorRT版本和深度学习框架,进行相关的配置和优化,以获得最佳的性能和精度。 ### 回答3: 近年来,深度学习在计算机视觉领域得到广泛应用,如物体检测、图像分类等。其中,Yolo系列算法以其速度快、效果好、精度高等优点受到了广泛关注和应用。但是,Yolo系列算法在运行速度方面还有提升的空间。此时,选用TensorRT工具可以对Yolo系列算法进行优化加速TensorRT是Nvidia针对深度学习推理领域开发的一款高性能优化工具,可以将训练好的深度学习模型进行优化后加速模型推理的过程,可以显著提高推理速度和效率。而Yolov5算法是基于PyTorch框架实现的,因此TensorRT需要与PyTorch框架进行结合使用。由于TensorRT在Windows系统中的使用不太友好,本文将对如何在Windows上使用TensorRT加速Yolov5算法进行详细解释。 首先,搭建深度学习环境:安装pytorch、Cuda、cudnn等环境及其依赖项; 其次,生成ONNX模型文件:使用Pytorch训练好的Yolov5模型需要转化为ONNX格式,这个可以使用torch.onnx.export()函数进行转换。 然后,生成TensorRT模型文件:在生成ONNX模型的基础上使用TensorRT的创建推理引擎工具create_inference_engine.py进行转换。 最后,利用TensorRT加速推理过程:在代码中使用TensorRT推理引擎,并比较与未使用TensorRT加速时的运行时间。 需要注意的是,在使用TensorRT优化Yolov5模型时需要调整一些参数,例如batch size、max workspace size等,以及根据硬件环境进行优化,可参考TensorRT官方文档和案例。 总的来说,使用TensorRT可以显著提高Yolov5算法的推理速度和效率,对于实时热点视频监控、智能安防等方面的应用具有重要意义。同时,TensorRT在Windows系统上的使用虽然存在一些不便,但只要按照步骤进行操作,还是能够顺利完成优化加速过程。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值