上采样和下采样_TensorRT-upsample(上采样)和dynamic_shape(动态尺寸)

最新推荐文章于 2024-07-02 14:12:32 发布
最新推荐文章于 2024-07-02 14:12:32 发布
阅读量1.6k 收藏 2
点赞数 1
文章标签： 上采样和下采样
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39807541/article/details/111381501
版权
本文探讨了TensorRT中上采样（upsample）和动态尺寸（dynamic_shape）的应用，针对ONNX与TRT转换时的挑战提出解决方案。通过调整 Upsample/interpolate 参数或使用 ConvTranspose 实现上采样支持。动态尺寸部分，讲解了如何在FP32和INT8模式下处理不同维度的变化，并提到了动态校准和推理的问题，以及TRT 7.1.3及以上版本对此的改进。最后，作者指出在某些GPU上可能会遇到显存泄漏问题，并提供了相应的解决建议。
摘要由CSDN通过智能技术生成

5545f56cdfa95c123e7f7e0721d92b53.png

这篇是关于tensorrt对upsample(上采样)和dynamic_shape(动态尺寸)支持的工程经验文，背景是一个分割任务要用tensorrt部署，分享下其中的一些“坑”。

代码方面，由于项目是公司内部的，所以完整代码不能发出来。目前是脱敏处理后保留相关核心模块，后续可再加入完整可运行demo。

https://github.com/666DZY666/Model-Compression-Deploy/tree/master/deploy/tensorrt​github.com

感觉应该从简介、安装、源码框架、使用啥的写起，后面有机会再补吧。。

第一篇，格式也不想调了～

这里环境是：

  • python >= 3.5
  • pytorch >= 1.4.0
  • onnx == 1.6.0
  • TensorRT == 7.0.0.11
  • 1080ti

来个简单的目录：

  • 上采样
  • 动态尺寸
  • 补充

上采样(upsample)

onnx/trt对上采样支持并不友好，这里主要是解决对常用上采样的支持，我们有两种方法。

1、调整Upsample/interpolate

以下两个条件缺一不可，否则onnx就会多出其他操作，并导致trt无法识别

￮ onnx版本，opset_version=10

a6b1d1e40d10f023771342d6547e2d92.png

￮ interpolate接口参数，要用size且传入要用int

e8d05f9b7e31df5c303602fc8165aef8.png

2、 直接用ConvTranspose

最低0.47元/天 解锁文章
weixin_39807541
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
tensorrt5.1双线性上采样插件
11-17
针对tensorrt5.1实现的双线性上采样插件，插件实测无误。如果用nvidia的gpu，在推理的时候，采用tensorrt进行加速是一个很好的选择，虽然tensorrt没有开源。
上采样下采样_采样_上采样代码_上采样下采样_
10-03
采样分为两种基本类型：上采样（Upsampling）和下采样（Downsampling）。本文将深入探讨这两种采样技术，并通过C++语言在VS2015环境下结合OpenCV 3.30库来实现它们。 首先，我们来理解一下采样的基本概念。根据...
Tensorrt-caffee模型tensorrt部署教程
weixin_43941538的博客
10-19 528
相比与tensorflow模型caffe模型的转换更加简单，不需要有tensorflow模型转uff模型这类的操作，tensorRT能够直接解析prototxt和caffemodel文件获取模型的网络结构和权重。具体解析流程和上文描述的一致，不同的是caffe模型的parser不需要预先指定输入层，这是因为prototxt已经进行了输入层的定义，parser能够自动解析出输入，另外caffeparser解析网络后返回一个IBlobNameToTensor *blobNameToTensor记录了网络中te
TensorRT动态形状（Dynamic Shape）出错，官方demo+自己模型运行时出错
最新发布
科软搬砖人
07-02 415
TensorRT 10一个问题
【个人开源】——tensorrt自定义插件,双线性上采样
怡宝2号
11-18 758
1. resizebilinear 选择5.1的分支。 onnx-tensorrt onnx模型： 百度网盘， 提取码: s7s1
TensorRT5.1实践 自定义的Upsample层的方法
Nonentity never give up ? neuer : loser
07-08 6158
记录修改官方提供的trtexec，加入upsample层，跑检测网络的实践过程。 接到一个类似yoloV3的检测网络，主要需要处理的是upsample自定义层。查询了一些资料，在github上下载了一些工程，终于是跑通了一个检测前馈时间的实例（还没有进行准确度测试）。 ...
Onnx和TensorRT的Upsample操作
nnzzll的博客
09-13 1388
TensorRT的Upsample操作与Pytorch不一致
pytorch进行上采样的种类实例
12-20
如代码所示，`F.max_pool2d`和`F.max_unpool2d`分别用于下采样和上采样，通过`return_indices=True`保存的索引信息保证了上采样的精确性。 总结起来，PyTorch提供了多种上采样技术，包括反卷积、插值和最大池化反向...
pytorch中的上采样以及各种反操作,求逆操作详解
01-20
F.upsample(input, size=None, scale_factor=None,mode=’nearest’, align_corners=None) rUpsamples the input to either the given :attr:`size` or the given :attr:`scale_factor` The algorithm used for ...
MATLAB.rar_低通采样_信号采样_信号重构_重构_重采样
09-15
在电子工程和数字信号处理领域，信号采样与重构是一个至关重要的概念，它涉及到如何将连续时间信号转换为离散时间信号，以便于在计算机中进行处理，然后再将处理后的信号还原成原始形式。MATLAB是一款强大的数值计算...
深度学习框架中的动态Shape问题
QQ哥的专栏
07-07 1889
深度学习框架中的动态shape问题
Nvidia TensorRT官方API文档
02-20
Nvidia TensorRT官方API文档，离线使用。
TensorRT的Prelu层
10-17
主要是加入到TebsorRT的Prelu层，用于模型加速，适用于含有Prelu的网络结构;
上采样方法大PK（Upsample，Interpolate，resize，Transposed convolution，deconv，Unpool，Pixelshuffle）
热门推荐
年轻即出发，
07-24 1万+
目录 Upsample: Interpolate，resize: Transposed convolution，deconv: Unpool： Pixelshuffle： Upsample: Pytorch example: import torch import torch.nn as nn import torch.nn.functional as F input = torch.arange(1, 5).view(1, 1, 2, 2).float() print(input) #
mindspore设置数据集的动态shape信息问题
weixin_45666880的博客
06-25 407
问题描述：set_dynamic_columns(columns=None)【操作步骤&问题现象】1、在训练mask_rcnn时，由于图片尺寸过大以及存在单个图片内目标过多( >1000)，所以不能使用pad_to_max的操作使得在生成数据集时保持每个row的shape是相同的。在官方文档中看到可以设置动态的shape信息(set_dynamic_columns(columns=None) )，但是我需要的是output_columns的shape不一致，该如何使用 set_dynamic_columns
pytorch 与 tensorrt upsample对应关系
无左无右的博客
04-08 1470
pytorch：F.upsample(x, size=(H, W), mode='bilinear',align_corners=True) 对应trt： tensorrt： IResizeLayer* P5_resize = network->addResize(*P5->getOutput(0)); auto C4_shape = network->addShape(*C4->getOutput(0))->getOutput(0); P5_resi
tensorRT 5.1.5.0 工作总结
Nonentity never give up ? neuer : loser
08-09 1885
Caffe-tensorRT ONNX-tensorRT 环境： Ubuntu 16.04，TensorRT 5.1.5.0，python3.5，gcc 5.4 ，torch 1.1.0，torchvision 0.2.2，更新到20.19.8.9的onnx-tensorrt 需求： onnx-tensorrt的根本需求是实现pytorch模型的tensorRT加速，而tensorRT现今不直接支...
Tensorrt+PyTorch+Win10部署
专业主义
05-27 1050
深度学习模型部署之安装TensorRT windows11+vs2022+TensorRT8.0.1 EA 版本代表抢先体验（在正式发布之前）。 GA 代表通用性。 表示稳定版，经过全面测试。
使用 trt 的int8 量化和推断 onnx 模型
blueblood7的专栏
03-27 8362
目录 生成 trt 模型 1、使用代码 2、onnx模型和图片 3、修改代码 4、结果 推断 trt 模型 生成 trt 模型 1、使用代码 https://github.com/rmccorm4/tensorrt-utils.git 2、onnx模型和图片 模型：动态batch输入（假设为mob_w160_h160.onnx，输入是 [batchsize, 3, 160, 160]）。 图片：一堆图片（假设有1024张），不需要其他描述文件。 在tensorrt-u...
上采样和下采样代码
05-31
上采样（Upsampling）和下采样（Downsampling）是在数字信号处理，图像处理和机器学习中常用的操作。下面是Python和PyTorch中的上采样和下采样代码示例： Python代码示例： ```python import numpy as np from scipy import signal # 下采样 def downsample(signal, factor): return signal[::factor] # 上采样 def upsample(signal, factor): return np.repeat(signal, factor) # 例子 x = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10]) y = downsample(x, 2) z = upsample(x, 2) print(y) # [1 3 5 7 9] print(z) # [ 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 10 10] ``` PyTorch代码示例： ```python import torch import torch.nn.functional as F # 下采样 def downsample(x, factor): return F.avg_pool2d(x, factor) # 上采样 def upsample(x, factor): return F.interpolate(x, scale_factor=factor, mode='nearest') # 例子 x = torch.arange(1, 26).reshape(1, 1, 5, 5) y = downsample(x, 2) z = upsample(x, 2) print(y) ''' tensor([[[[ 3., 5.], [13., 15.]]]]) ''' print(z) ''' tensor([[[[ 1., 1., 2., 2., 3., 3., 4., 4.], [ 1., 1., 2., 2., 3., 3., 4., 4.], [ 6., 6., 7., 7., 8., 8., 9., 9.], [ 6., 6., 7., 7., 8., 8., 9., 9.], [11., 11., 12., 12., 13., 13., 14., 14.], [11., 11., 12., 12., 13., 13., 14., 14.], [16., 16., 17., 17., 18., 18., 19., 19.], [16., 16., 17., 17., 18., 18., 19., 19.]]]]) ''' ``` 注意，PyTorch中的下采样和上采样函数默认操作在最后两个维度上。如果要在其他维度上操作，需要通过指定`dim`参数来实现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值