添加动态resize的TensorRT算子

已于 2023-04-02 15:57:59 修改
阅读量383 收藏
点赞数
分类专栏： 量化_Onnx_TensorRT 文章标签： python 开发语言 算法
于 2023-04-01 23:49:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35435798/article/details/129905181
版权
文章介绍了如何在TensorRT中添加动态resize操作，通过mmdeploy工具从ONNX模型转换，并提供了自定义动态TRTResize算子的示例代码，包括符号函数和前向传播实现。此外，还展示了完整的从PyTorch模型导出到ONNX，再到TensorRT的流程，并进行推理验证。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

添加动态resize的TensorRT算子

1.参考：https://blog.csdn.net/qq_39967751/article/details/126429831，如下图：

请添加图片描述

2.前提是需要先了解如何编译mmdeploy，具体可以参考https://blog.csdn.net/qq_35435798/article/details/129476576?spm=1001.2014.3001.5502
3.对应的demo代码如下(供查询参考)：

import torch 
from torch import nn 
from torch.nn.
了解本专栏 订阅专栏 解锁全文 超级会员免费看
tensorrt5.1双线性上采样插件
11-17
针对tensorrt5.1实现的双线性上采样插件，插件实测无误。如果用nvidia的gpu，在推理的时候，采用tensorrt进行加速是一个很好的选择，虽然tensorrt没有开源。
onnx-tensorrt5.1 ResizeNearest.cu代码解读
BokyLiu的博客
01-02 877
ResizeNearest.hpp: /* * Copyright (c) 2018, NVIDIA CORPORATION. All rights reserved. * * Permission is hereby granted, free of charge, to any person obtaining a * copy of this software and associa...
TVM中resize算子原理及细节分析
最新发布
生活需要深度
02-04 833
原始图像是 f(x) 为定义在区间 [a,b] 上的函数。x1,x2,x3...xn 为 [a,b] 上 n 个互不相同的点，插值函数为 G ， g(x) 经过变换后是蓝色部分曲线：红色是曲线中实际已知数据点；蓝色为插值即连接的曲线​可以看到原始图像是红色的一些离散点，经过插值函数 f(x) 映射得到蓝色的曲线。尽管插值函数是通过原始像素变换得到的，这些像素不一定全部正确，有些可能是粗略的估计。通常插值算法有基于经典的图像插值算法、基于边缘的插值算法。经典的插值算法主要分片段插值、线性插值。
Pytorch添加自定义算子之（12）-开闭原则设计tensorrt和onnxruntime推理语义分割模型
baidu_28342107的博客
08-22 243
/ 导入动态库__declspec# pragma once # ifndef ABSTRACT_BASE_H # define ABSTRACT_BASE_H // 导入动态库 # ifdef _WIN32 # define IMPORT __declspec(dllimport) # else # define IMPORT # endif # include <opencv/cv.hpp> # include <string> using namespace std;
【tensorrt】——动态shape杂谈/pool/resize
怡宝2号
09-15 1418
tensorrt, dynamic shape 1. 前言 tensorrt 不知道在哪个版本开始就支持了dynamic shape，然后以前也没有试过，最近有这个想法，有一定时间就测试了一下。整个过程有助于对tensorrt模型转换，tensorrt引擎推理有更深一步的了解和认识。 2. 不支持的op 这里只是对不支持的op进行梳理。首先tensorrt推理的整体流程是： 用onnx2trt或trtexec或者其他工具进行模型转换，这里已onnx转trt为例。整个过程是首先解析onnx模型，再根据o.
TensorRT：bilinear IResizeLayer
微风❤水墨
12-04 3314
pytorch训练过程中遇到： UserWarning: Default upsampling behavior when mode=bilinear is changed to align_corners=False since 0.4.0. Please specify align_corners=True if the old behavior is desired. See the documentation of nn.Upsample for details. 提示的意思是：自从pyto
深度学习为什么要resize_[深度学习]TensorRT为什么能让模型跑快快
weixin_39649490的博客
11-22 422
模型加速越来越成为深度学习工程中的刚需了，最近的CVPR和ICLR会议中，模型的压缩和剪枝是受到的关注越来越多。毕竟工程上，算法工程师的深度学习模型是要在嵌入式平台跑起来，投入应用的。在模型的推理（inference）过程中，计算速度是很重要的。比如自动驾驶，如果使用一个经典的深度学习模型，很容易就跑到200毫秒的延时，那么这意味着，在实际驾驶过程中，你的车一秒钟只能看到5张图像，这当然是很危险的...
【个人开源】——tensorrt自定义插件,双线性上采样
怡宝2号
11-18 813
1. resizebilinear 选择5.1的分支。 onnx-tensorrt onnx模型： 百度网盘， 提取码: s7s1
PIL、OpenCV中resize算子实现不同的问题
weixin_44966641的博客
06-01 1357
PIL、OpenCV中resize算子实现不同的问题
onnx新增节点
wuhongwuyan的博客
10-18 2893
onnx新增resize节点
onnx自定义算子转tensorrt 推理
MAX的专栏
11-19 607
1、自定义算子类继承类，实现forward()和backward()方法，这样就变成一个可导函数可以在pytorch 模型网络中调用。如果只做推理可以不用实现backward。2、实现symbolic静态方法，这样在调用torch.onnx.export()时就能根据symbolic定义的规则，将自定义算子类转换成onnx 算子。说明：symbolic是符号函数，通常在其内部**返回一个g.op()**对象。
Pytorch添加自定义算子之（11）-C++应用程序将onnx模型编译并转成tensorrt可执行模型
baidu_28342107的博客
08-08 245
参考 opencv tensorrt cuda visual studio 2019 cmake 三、trt_dep.cpp文件和trt_dep.hpp文件 四、主函数segment.cpp 五、CMak配置 1.onnx模型需时静态尺寸模型。 2.当模型输出为yolov5的浮点型时，需要修改屏蔽trt_dep.cpp处的输出，BiseNet分割则不用。
转onnx模型学习汇总及TensorRT部署
qq_35435798的博客
08-06 1025
转onnx模型和TensorRT部署。涉及自动驾驶相关开源算法（bevdepth、MatrixVT、BEVDet poolv2）。有需要可深入交流
tensorRT模型推理时动态shape
Rolandxxx的博客
11-05 2200
和之前全连接的代码唯一的区别就是两个点，一个是网络结构的定义换成了CNN，另一个是动态shape的配置createOptimizationProfile。OptimizationProfile是一个优化配置文件，用来指定输入的shape可以变换的范围的，不要被优化两个字蒙蔽了双眼，其实就是为了告诉tensorRT我的shape是什么范围！在全卷积网络中我们通常就是有这个诉求的，推理时的shape是可以动态改变的，不一定要限制死，这个动态shape不一定只宽高，还指batchsize也是动态的。
【玩转yolov5】使用TensorRT C++ API搭建yolov5s-v4.0网络结构(3)
05-09 1213
接上篇【玩转yolov5】使用TensorRT C++ API搭建v4.0网络结构(2)，backbone部分已经讲完了，现在进入到neck部分。 PANet在FPN的基础上增加了Bottom-up Path Augmentation，主要是考虑到网络的浅层特征中包含了大量的边缘形状等特征，他们对于实例分割这种像素级别的分类任务起到至关重要的作用。上图红色的箭头表示在FPN中，因为要经过自底向上的过程，浅层特征传到顶层要经过几十甚至上白层网络，浅层信息丢失严重。红色的箭头表示作者添加的Botto.
MMCVDeformConv2d转TensorRT记录
qq_35435798的博客
03-25 1484
MMCVDeformConv2d转Tensorrt
TensorRT_Plugin:手写Plugin详细步骤教程
yitiaoxiaolu的博客
02-23 1515
本文为学习Nvidia官方视频教程的学习笔记，分享TensorRT手写Plugin的详细步骤，文中代码参考Nvidia提供的cookbook中05-Plugin/API的代码，强烈建议您先观看Nvidia的教程视频第三节，然后学习本文档。手写Plugin难度较高，尤其是Plugin的核函数部分，建议参考Nvidia的教程模板进行修改，另外针对于Plugin的读取，需要大家了解并掌握详细的读取步骤，实现对Plugin的注册和配置，并最终实现将自己手写的Plugin插入到网络中。
模型部署入门教程（八）：如何添加 TensorRT 自定义算子
qq_39967751的博客
08-19 4195
本篇教程我们主要讲述如何在 MMDeploy 代码库中添加一个自定义的 TensorRT 插件，整个过程不涉及太多更复杂的 CUDA 编程，相信小伙伴们学完可以自己实现想要的插件
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值