【pytorch】yolov7+nms转tensorrt，动态模型

已于 2022-11-07 22:41:28 修改
阅读量723 收藏
点赞数
分类专栏： pytorch 文章标签： pytorch 人工智能 python
于 2022-11-04 09:56:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luolinll1212/article/details/127683218
版权
.云哲.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
yolov7导出可被trt解析的onnx
deep_love1314的博客
07-07 1513
onnx、yolov7
Yolo系列模型使用TensorRT-C++推理学习
sansheng0208的博客
12-06 1165
回忆了很多c++的基本知识，也对齐了python用TRT推理和c++用TRT的一个流程上的异同，并且在查找很多TRT的c++ api时发现很多api弃用了或者推荐使用新的api，后续计划将该工程对应的api修改换成新版的作为一个课后补习。如有错误，请联系我修改。
TensorRT推理——（三）转换成TensorRT模型、部署C++版
weixin_39263657的博客
05-16 3865
使用TensorRT推理肯定是在英伟达GPU环境上进行推理的。
YOLOv7环境搭建、训练流程以及转TensorRT部署问题
weixin_41868417的博客
07-25 3238
YOLOv7的环境搭建训练以及部署
yolov7 PyTorch模型转TensorRT
linghu8812的博客
07-12 3174
yolov7 PyTorch模型转TensorRT推理
YOLOv8部署-使用TensorRT部署YOLOv8-算法部署-附完整流程教程.zip
02-12
6. **后处理**：TensorRT仅负责模型的计算部分，YOLOv8的非线性操作，如NMS（非极大值抑制）和边界框的解码，需要在推理后进行。 在整个过程中，关键在于理解YOLOv8的模型结构和TensorRT的优化机制。例如，理解如何...
基于yolov5-cls的TensorRT项目
最新发布
05-21
项目中的关键步骤是将YOLOv5-cls的.onnx模型（通常为PyTorch导出的格式）转换为TensorRT兼容的网络定义。这涉及到解析.onnx文件，使用TensorRT的Builder和Network API构建模型，然后通过配置层属性、设置优化策略等...
yolov8 tensorrt c++推理
03-10
这可能涉及到将ONNX、TensorFlow或PyTorch模型转换为TensorRT支持的格式。 2. **构建网络定义**：使用TensorRT API定义YOLOv8的网络架构。这包括输入层、卷积层、激活函数、池化层、锚框设置等。 3. **优化与构建...
C++基于TensorRT部署yolov5的分割模型源代码
07-23
在本文中，我们将深入探讨如何使用C++和TensorRT来部署YOLOv5的分割模型。YOLO（You Only Look Once）是一种流行的实时目标检测框架，而YOLOv5是其最新版本，优化了速度和精度。TensorRT是NVIDIA推出的一种高性能...
TensorRT-使用TensorRT部署Yolov4算法-优质算法部署项目实战.zip
02-28
6. **后处理**：TensorRT仅处理模型的计算部分，YOLOv4的输出需要后处理，包括非极大值抑制（NMS）以去除重复的检测结果。这个过程通常涉及对边界框的过滤和排序。 在项目实战中，还会涉及到以下关键点： - **性能...
pytorch yolov7 模型转tensorRT
home花的博客
08-21 277
查看so是否没有找不到，若so包正常，说明export环境变量没生效，请 source ~/.bashrc，或者手动执行。如果环境什么都没出错的话，这里编译是会很顺利的。然后cd进入bin文件夹，设置环境变量：vi ~/.bashrc,写入下面设置。检查python中tensorrt是否安装成功。还需要安装pycuda。
【模型加速】自定义TensorRT NMS3D插件(2)
04-10 1568
添加自定义TensorRT插件 TensorRT的NMS Plugin在官网已有开源，但不符合我本次实验的需求，所以还得再自定义TensorRT Plugin。随着tensorRT的不断发展(v5->v6->v7)，TensorRT的插件的使用方式也在不断更新。插件接口也在不断地变化，由v5版本的IPluginV2Ext，到v6版本的IPluginV2IOExt和IPluginV2DynamicExt。 添加自定义TensorRT Plugin的方式有多种，以Tens...
YOLOv7教程系列：二、使用onnx导出成tensorrt模型，实现高性能部署，包含opencv多线程、图像队列存取、自动保存xml和jpg等模块
weixin_45921929的博客
01-12 1665
YOLOv7教程系列：二、使用onnx导出成tensorrt模型，实现高性能部署，包含opencv多线程、图像队列存取、自动保存xml和jpg等模块
tensorRT nmsPlugin层解读
u010205128的博客
11-03 1801
Parameters 参数 这个自定义层包含两个类：NMSPluginCreator以及DetectionOutput DetectionOutput自定义层通过一个DetectionOutputParameters参数类来实例化。DetectionOutputParameters参数如下： Type Parameter Description bool shar...
探秘TensorRT for YOLO Series：加速计算机视觉的利器
gitblog_00024的博客
04-12 402
探秘TensorRT for YOLO Series：加速计算机视觉的利器 项目地址:https://gitcode.com/Linaom1214/TensorRT-For-YOLO-Series 本文将向您介绍一个基于TensorRT优化的YOLO系列模型实现项目，旨在提升实时目标检测性能。该项目由Linaom1214维护，通过充分利用GPU硬件加速，为开发者提供了高效的深度学习推理解决方案。 ...
YOLOV5 TensorRT BatchedNMS
Untitled的专栏
10-30 2410
利用onnx_graphsurgeon改造原生detect层的输出张量，对接通过cuda实现的TensorRT batchedNMSPlugin
YOLOv7数据标注、环境配置、训练、预测、trt加速
qq_46223426的博客
07-29 4525
YOLOv7数据标注、环境配置、训练、预测、trt加速
onnx转trt方法
weixin_67615387的博客
01-31 2473
onnx转TensorRT
【TensorRT】TensorRT 部署Yolov5模型（C++）
热门推荐
grape_yan的博客
01-04 1万+
TensorRT支持多种模型文件，不过随着onnx模型的发展，目前多种模型框架都将onnx模型当作中间转换格式，是的该模型结构变得越来越通用，因此TensorRT目前主要在更新的就是针对该模型的转换。TensorRT是可以直接读取engine文件，对于onnx模型需要进行一些列转换配置，转为engine引擎才可以进行后续的推理，因此在进行模型推理前，需要先进行模型的转换。
yolov5 PyTorch模型转TensorRT
05-20
将YOLOv5 PyTorch模型转换为TensorRT模型需要以下步骤： 1. 安装TensorRT和PyTorch。 2. 下载并安装yolov5。 3. 使用PyTorch将yolov5模型转换为ONNX格式。 ``` python models/export.py --weights yolov5s.pt --img 640 --batch 1 --include onnx # yolov5s ``` 4. 安装ONNX-TensorRT。 ``` git clone https://github.com/onnx/onnx-tensorrt.git cd onnx-tensorrt git submodule update --init --recursive mkdir build && cd build cmake .. -DTENSORRT_ROOT=/path/to/tensorrt -DCMAKE_CXX_COMPILER=g++-7 make -j sudo make install ``` 5. 使用ONNX-TensorRT将ONNX模型转换为TensorRT模型。 ``` import onnx import onnx_tensorrt.backend as backend model = onnx.load("yolov5s.onnx") # Load the ONNX model engine = backend.prepare(model, device="CUDA:0") # Prepare the TensorRT model with open("yolov5s.engine", "wb") as f: # Serialize the TensorRT engine f.write(engine.serialize()) ``` 6. 测试TensorRT模型的性能和准确性。 ``` import pycuda.driver as cuda import pycuda.autoinit import numpy as np import time # Load the TensorRT engine with open("yolov5s.engine", "rb") as f: engine = cuda.Context().deserialize_cuda_engine(f.read()) # Create the TensorRT inference context context = engine.create_execution_context() # Allocate the input and output buffers input_shape = engine.get_binding_shape(0) output_shape = engine.get_binding_shape(1) input_buffer = cuda.mem_alloc(np.prod(input_shape) * 4) output_buffer = cuda.mem_alloc(np.prod(output_shape) * 4) # Prepare the input data input_data = np.random.rand(*input_shape).astype(np.float32) # Copy the input data to the input buffer cuda.memcpy_htod(input_buffer, input_data) # Run inference start_time = time.time() context.execute_v2(bindings=[int(input_buffer), int(output_buffer)]) end_time = time.time() # Copy the output data to the output buffer output_data = np.empty(output_shape, dtype=np.float32) cuda.memcpy_dtoh(output_data, output_buffer) # Print the inference time and output data print("Inference time: {} ms".format((end_time - start_time) * 1000)) print("Output shape: {}".format(output_shape)) print("Output data: {}".format(output_data)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值