YOLOV5 TensorRT部署 BatchedNMS(engine模型推理)(下)

最新推荐文章于 2024-09-05 11:01:33 发布
最新推荐文章于 2024-09-05 11:01:33 发布
阅读量440 收藏
点赞数
分类专栏： yolo系列改进计划 文章标签： YOLO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42754919/article/details/138190908
版权
本文档介绍如何在王新宇代码基础上改进YOLOV5的TensorRT部署，专注于BatchedNMS的实现。通过修改yolov5.cpp的全局变量和内存管理，以及在yololayer.h中调整模型尺寸和类别数，以提高推理速度并避免坐标越界问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

主要是在王新宇代码的基础上改进，引入对BatchedNMS的解码

文章目录

1. 修改yolov5.cpp

首先增加全局变量，名字根据转onnx时修改的节点名字来，查看onnx文件可以看到，顺序不要弄错。
在这里插入图片描述

const char *INPUT_NAME = “images”;
const char *OUTPUT_KTOP_NAME = “Ktop”;
const char *OUTPUT_BOXEX_NAME = “nmsBoxes”;
const char *OUTPUT_SCORE_NAME = “nmsScore”;
const char *OUTPUT_CLS_NAME = “nmsCls”;

在这里插入图片描述修改cuda推理时的内存节点，采用指针引用的方式，减少内存拷贝过程，加快推理。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLOV5 TensorRT部署 BatchedNMS(转换engine模型)(上)
qq_42754919的博客
04-23 530
yolov5 tensorrt部署时引入nms plugin，nms在cuda上执行，减少内存拷贝和运行时间
yolov8实战第三天——yolov8TensorRT部署（python推理）（保姆教学）
qq_34717531的博客
12-26 1万+
TensorRT是一种，可以为深度学习应用提供的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。一般的深度学习项目，训练时为了加快速度，会使用多GPU分布式训练。
YOLOV5 TensorRT BatchedNMS
Untitled的专栏
10-30 3516
利用onnx_graphsurgeon改造原生detect层的输出张量，对接通过cuda实现的TensorRT batchedNMSPlugin
Torchvision.ops.batched_nms() 和 nms()区别
08-05 9697
区别： batched_nms（）： 根据每个类别进行过滤，只对同一种类别进行计算IOU和阈值过滤。 nms（）： 不区分类别对所有bbox进行过滤。如果有不同类别的bbox重叠的话会导致被过滤掉并不会分开计算。 Torchvision.ops.nms()： 参数： boxes: Tensor, 预测框 scores: Tensor, 预测置信度 iou_threshold: float, IOU阈值 Torchvision.ops.batched_nm...
yolov5-7.0目标识别使用Tensorrt推理（C++Api）
m0_66380820的博客
07-19 834
程序里主要有logging.h和utils.h两个基础的头文件，还有含推理程序的yolo.hpp，我将主要的推理程序都封装在一个类里面了，后续需要使用时直接new一个就可以直接使用了。我们使用 Netron打开对应onnx模型，可以看到images和output0参数与模型一一对应，一般我们训练自己的模型都会修改CLASSES，根据自己参数对应修改即可。我自己通常使用C#编写上位机程序，所以一般都是将C++封装成DLL使用。测试使用的话直接new一个，然后使用里面的函数即可，下面给出例子。
【YoloV5 6.0|6.1 部署 TensorRT到torchserve】环境搭建|模型转换|engine模型部署（详细的packet文件编写方法）
m0_61139217的博客
07-05 5945
QQ: 1757093754注：Yolov5 1~5版本并没有封装完好的TensorRT转换流程，故需要借助其他方法完成模型转换，但是6.0、6.1内置TensorRT的export。tensorrtx下载链接：GitHub - wang-xinyu/tensorrtx: Implementation of popular deep learning networks with TensorRT network definition APIhttps://github.com/......
NVIDIA Jetson YOLOv5 tensorRT部署和加速 C++版
黎国溥
05-12 7973
前言 在实现NVIDIA Jetson AGX Xavier 部署YOLOv5的深度学习环境，然后能正常推理跑模型后；发现模型速度不够快，于是使用tensorRT部署，加速模型，本文介绍C++版本的。 NVIDIA Jetson YOLOv5应用与部署_一颗小树x的博客-CSDN博客 版本介绍：yolov5 v6.0、tensorrtx；Jetpack 4.5 [L4T 32.5.0]、CUDA: 10.2.89。 我测试了 kitti 数据集的100张图片：加速后每一张图像，平均推理时间是22ms
yolov8使用tensorRT进行c++部署
01-29
在本文中，我们将深入探讨如何使用TensorRT对YOLOv8模型进行C++部署，以实现高效的计算机视觉任务，特别是X射线检测。YOLO（You Only Look Once）系列是实时目标检测领域的标志性算法，而YOLOv8作为最新版本，优化了...
yolov5的TensorRT部署--动态batch
qq_42178122的博客
06-25 4033
从0到1实现基于tensorrt的yolo部署教程 http://t.csdn.cn/HUn4T,请点击该链接，即可看到全文本文对于上面的案例，从多batc的角度详细讲解对于充分多batch，能大大提升模型的检测速度，例如多个视频流进行目标检测，我们可以获取多个视频流中的图片，都多张图片一起送往一个网络里进行推理。 在生成TensorRT模型的代码，我们应该加入以下代码 2. 在模型推理时的代码 在推理的时，如何将设置显存和内存，并且将输入的数据与指定的内存和显卡关联在一起，这是多batch的难点 batc
【深度学习】1. yolov5 推理速度和batchsize的增长关系，推理并行处理多张图片，显存如何手动释放
weixin_40293999的博客
07-05 7784
yolov5的detect.py 是默认batchsize=1的，而直接修改batchsize为更大的值，会使detect.py 不工作.因此本篇文章想解决两个问题：1.设置多大的bz合适2.如何修改detect.py 使其满足自定义的bz。
tensorRT nmsPlugin层解读
u010205128的博客
11-03 1883
Parameters 参数 这个自定义层包含两个类：NMSPluginCreator以及DetectionOutput DetectionOutput自定义层通过一个DetectionOutputParameters参数类来实例化。DetectionOutputParameters参数如下： Type Parameter Description bool shar...
NMS详解及pytorch实现:hard-nms(diou\overlap\merge\batched),soft-nms
qq_33270279的博客
12-26 8441
文章目录NMS详解及pytorch实现:hard-nms(diou\overlap\merge\batched),soft-nms1 简介2 原理3 实现3.1 伪代码3.2 pytorch源码3.3 知识点参考资料 NMS详解及pytorch实现:hard-nms(diou\overlap\merge\batched),soft-nms 1 简介 非极大值抑制算法（Non-maximum sup...
NMS(非极大值抑制）代码构建与详解
weixin_43980331的博客
08-18 1507
当进行预测时，将一张包含待检测目标的图片送入网络，会对同一个目标生成很多的预测框，我们只需要保留将该目标完美标出来的检测框即可，这时就会采用NMS算法来剔除我们不需要的框。...
paddle.vision 与 torchvision 中的box NMS使用方式
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
02-25 944
.
Could not run ‘torchvision::nms‘ with arguments from the ‘CUDA‘ backend的解决；用GPU跑Detectron2的demo
weixin_41793473的博客
07-08 1万+
Could not run ‘torchvision::nms’ with arguments from the ‘CUDA’ backend的解决；用GPU跑Detectron2的demo 在上一篇文章中，有一个问题没有解决。 Detectron2-入门1-极链AI云平台部署-多图好玩测试 Traceback (most recent call last): File "demo.py", line 112, in <module> predictions, visualized_
yolov5模型pt转engine
wyw0000的博客
06-18 967
yolov5 pt模型转engine
【YOLOv5模型部署】——TensorRT推理引擎安装与使用&基于Flask的项目部署
weixin_51658186的博客
09-05 2141
算法要落地到实际应用，这就叫模型部署！模型部署是将训练好的机器学习或深度学习模型集成到实际应用中，使其能够对外提供服务的过程。主要包括在线部署和离线部署两种。
NMS技术总结（NMS原理、多类别NMS、NMS的缺陷、NMS的改进思路、各种NMS方法）
热门推荐
CV技术指南（微信公众号）
05-08 2万+
前言本文介绍了NMS的应用场合、基本原理、多类别NMS方法和实践代码、NMS的缺陷和改进思路、介绍了改进NMS的几种常用方法、提供了其它不常用的方法的链接。 本文很早以前发过，有个读者评论说没有介绍多类别NMS让他不满意，因此特来补充。顺便补充了NMS的缺点和改进思路。 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 Non-Maximum Suppression（NMS）非极大值抑制。从字面意思理解，抑制那些非极大值的元素，保留极大值元素。...
Window平台下yolo-pose之TensorRT部署详细过程
Christo的博客
02-10 621
Window平台下yolo-pose之TensorRT部署详细过程
Yolov11 TensorRT部署分割模型
最新发布
03-29
### YOLOv11 TensorRT 部署 分割模型教程 使用TensorRT部署YOLOv11的分割模型涉及多个步骤，主要包括模型转换、优化以及最终的推理过程。以下是详细的说明： #### 1. 安装TensorRT 为了能够利用TensorRT的功能来加速模型推断速度，首先需要安装TensorRT库[^1]。确保所使用的版本兼容目标硬件平台。 #### 2. 转换模型至ONNX格式 在实际应用之前，通常会先将原始框架中的模型文件（如`.pt`）导出为中间表示形式—ONNX (Open Neural Network Exchange)[^2]。对于YOLO系列模型来说也不例外；因此第一步就是把预训练完成后的PyTorch权重保存成对应的.onnx文件。 ```python import torch from models.experimental import attempt_load def convert_to_onnx(weights_path, output_name='model'): device = 'cuda' if torch.cuda.is_available() else 'cpu' model = attempt_load(weights_path, map_location=device) # 加载pytorch模型 model.eval() input_size = (3, 640, 640) # 输入尺寸调整为你自己的需求 dummy_input = torch.randn(1, *input_size).to(device) dynamic_axes = {'images': {0: 'batch', 2: 'height', 3: 'width'}} torch.onnx.export( model, dummy_input, f"{output_name}.onnx", opset_version=12, do_constant_folding=True, verbose=False, input_names=['images'], output_names=['outputs'], dynamic_axes=dynamic_axes ) ``` 此脚本展示了如何从.pth格式转到.onnx格式的过程。 #### 3. 构建Engine File 一旦获得了ONNX文件之后，则可以进一步将其编译成为专用于特定GPU架构上的执行引擎(engine file)，从而实现更高效的运行性能提升效果显著[^3]。 ```cpp #include "NvInfer.h" // ...其他必要的头文件... int main(int argc, char **argv){ // 创建builder对象并设置参数... IBuilder* builder = createInferBuilder(gLogger); INetworkDefinition* network = builder->createNetworkV2(0U); OnnxParser parser(network,&gLogger); bool success = parser.parseFromFile(onnxFilePath.c_str(), static_cast<int>(ILogger::Severity::kINFO)); assert(success && "Failed to parse ONNX file"); IBuilderConfig* config = builder->createBuilderConfig(); config->setMaxWorkspaceSize(1 << 30); // 设置最大工作空间大小 ICudaEngine* engine = builder->buildEngineWithConfig(*network,*config); serializeAndSaveEngine(engine,"yolov11.engine"); } ``` 上述C++代码片段演示了怎样基于先前得到的那个.ONNX文档创建TRT Engine实例的方法之一。 #### 4. 推理阶段 最后一步就是在应用程序里加载这个序列化的engine来进行预测操作啦！ --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值