基于python实现onnx转TensorRT自定义op

最新推荐文章于 2024-07-07 17:07:52 发布
最新推荐文章于 2024-07-07 17:07:52 发布
阅读量833 收藏 3
点赞数
分类专栏： TensorRT onnx 推理框架 文章标签： python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fenplan/article/details/120317501
版权
TensorRT 同时被 3 个专栏收录
8 篇文章 3 订阅
订阅专栏
推理框架
7 篇文章 1 订阅
订阅专栏
onnx
4 篇文章 0 订阅
订阅专栏

TensorRT源码上提供了一些python的samples，但是说好的提供onnx_packnet这个sample是onnx2trt自定义op的示例，但却没有写完整，不熟悉的人很难看懂。但其实Python版本的onnx2trt自定义op很简单，过程如下：

  1. 找到一个需要自定义op的C++插件（或者自己写）如：grid_sampler
  2. 使用cmake将上述grid_sampler相关文件生成C++库文件libtensorrtplugins.so
  3. 在Python文件的最开头加上一句：ctypes.CDLL("/home/tensorrt/libtensorrtplugins.so")

注意：模型中使用的不支持op的名字应该与注册的插件名字一致
如果不一致且模型难以重新训练，可直接对onnx模型里的node进行修改，或者修改插件注册名。

Ehrich wen
关注
专栏目录
onnx-tensorrt：ONNX-TensorRT：ONNX的TensorRT后端
02-05
适用于ONNX的TensorRT后端 解析ONNX模型以使用执行。 另请参阅。 有关最近更改的列表，请参见 。 有关常见问题的列表，请参见 。 支持的TensorRT版本 Master分支上的开发适用于具有完整尺寸和动态形状支持的的...
ONNX-Tensorrt如何注册自己的Op
The space of Shining
07-06 4000
前言 在NVIDIA开源项目中，onnx-tensorrt，版本是v5.0，目前TX2的18.04系统Cuda10，Tensorrt5.0.26目前只支持到这个版本。 我们可以看到tensorrt是如何将ONNX的模型转化为tensorrt支持的序列化模型。源码中我们可以看到有4个Op:Split,FancyActivation,InstanceNormalization,ResizeNeares...
【个人记录】torch转onnx对上TensorRT的grid_sample接口（4D/5D）进行加速
weixin_42492254的博客
10-16 3072
custom的grid_sample对接tenosrrt进行加速
ONNX转换TensorRT，并进行推理预测
最新发布
Qiming的博客
07-07 404
均是由于profile输入的名称或者size与onnx模型不一致，注意是NCHW还是NHWC。如果转换为onnx，那么onnx模型的数据类型也是float32，使用opencv或者PIL读取的图片数据类型是 int8，torch模型的默认数据类型是float32,###TensorRT 预测返回nan值。是由于输入的数据类型不对。
TensorRT——grid_sample转换
m980828的博客
11-01 1677
TensorRT加速
【通俗易懂】详解torch.nn.functional.grid_sample函数：可实现对特征图的水平/垂直翻转
信小海
12-02 1万+
详解torch.nn.functional.grid_sample函数）：可实现对特征图的水平/垂直翻转。
onnx转TensorRT推理自定义插件（op）的方式，Python&C++
Fenplan的博客
11-08 3719
首先，无论是python还是C++，我们都要写一个自己的plugin，一般的不支持op网上都有参考的版本，写plugin的参考教程：如何写好一个op C++实现和使用过程： 下载TensorRT官网源码， 进入plugin可以看到许多已经定义好的插件可以参考，照着写就行，以ScatterND为例。 先写好自己的plugin，如名为：myplugin 注意：此处plugin代码里面不能包含REGISTER_TENSORRT_PLUGIN(MyPluginCreator)代码，不然会导致重复注册的问题。 在p
torch.grid_sample
duoyasong5907的博客
02-14 1559
grid_sample
Pytorch通过保存为ONNX模型转TensorRT5的实现
09-16
### PyTorch 通过保存为 ONNX 模型转换到 TensorRT5 的实现 #### 一、背景介绍 在深度学习领域，模型的部署与优化是至关重要的环节。PyTorch 作为一款流行的深度学习框架，提供了灵活且强大的 API 来进行模型训练...
ONNX-TensorRT：用于ONNX的TensorRT后端-Python开发
05-25
ONNX-TensorRT：用于ONNX的TensorRT后端用于ONNX的TensorRT后端解析ONNX模型以与TensorRT一起执行。 另请参阅TensorRT文档。 受支持的TensorRT版本开发Master分支上的开发适用于具有完整尺寸和动态形状支持的...
onnx2tensorRt:tensorRt推断darknet2onnx pytorch2onnx mxnet2onnx
04-12
tensorRt7 + (tensorRt7 support python3.4-3.7) onnx1.5 + (tensorRt7 support onnx1.5) onnxruntime 1.0 python3.6 + docker-cuda10.2 + ubuntu16.04 or ubuntu18.04 (1) yolov4(v3) tensorRt inference ...
pytorch 将onnx模型转换为trt TensorRT模型
03-20
适用于TensorRT8.0版本及以上 使用步骤 1、chmod 添加文件执行权限 2、将onnx路径修改为自己的onnx模型路径 3、运行py问价
onnx转TensorRT使用的三种方式（最终在Python运行）
weixin_42492254的博客
07-28 1万+
onnx转TensorRT使用的三种方式（Python运行）
torch grid_sample
qq_39861441的博客
09-03 1334
https://zhuanlan.zhihu.com/p/112030273
onnx模型转engine并进行推理全过程解析
AI小花猫的博客
03-24 5500
TensorRT C++ API 使用ONNX进行模型构建和推理的全过程
服务器搭建Tensorrt 转换Yolov5实例
zc的csdn
01-21 2176
本方案针对服务器端搭建tensorrt 环境，不想搭建docker 环境的情况。 一.服务器端搭建Tensort 环境 目前使用的是公司已搭建好的训练服务器，服务器中已经配置好cuda cudnn。由于训练服务器分配的用户无sudo 权限，因此在使用tensorrt时不能直接安装在/usr/下。Tensorrt tar 安装方式可避免安装问题，可指定路径解压后直接使用，具体使用方式如下。 1.首先需要知道自己所使用的训练服务器安装的cuda 版本，具体如何查询可自行百度哈。本博客仅介绍。如果自己的电脑
【CV学习笔记】pytorch2onnx2trt
Rex大居
05-25 1308
1、前言 之前在工作中遇到pytorch模型转tensorrt模型的时候，面对不同的代码仓库，有不同的转化方法，后来在学习过程中见到了比较统一的onnx模型，可以将pytorch模型转化为onnx模型，然后再由onnx-tensorrt将onnx转化为engine，本次学习内容将对pytorch2onnx2trt的方法进行系统性的学习，并记录下来。 代码地址:https://github.com/Rex-LK/deeplearning_rex 2、pytorch2onnx 下载好项目后，打开项目，以代码中的
PyTorch中grid_sample的使用方法
热门推荐
我的博客有点东西
07-24 5万+
grid_sample底层是应用双线性插值，把输入的tensor转换为指定大小。那它和interpolate有啥区别呢？ interpolate是规则采样（uniform)，但是grid_sample的转换方式，内部采点的方式并不是规则的，是一种更为灵活的方式。 torch.nn.functional.grid_sample(input, grid, mode=‘bilinear’, padding_mode=‘zeros’) input : 输入tensor， shape为 [N, C, H_in,
TensorRT5.1.5.0 实践 onnx-TensorRT的自定义op
Nonentity never give up ? neuer : loser
08-13 4801
以pytorch转TensorRT为例，进行自定义op的pipeline的整理。 文章目录pytoch 转 onnx 过程中扩展自定义oponnx 转 tensorRT 过程中扩展自定义op流程细节学习对自定义op：InstanceNormalization的详解InstanceNormalizationPlugin.hppInstanceNormalizationPlugin.cppbuilti...
onnx转tensorrt
06-06
TensorRT 是 NVIDIA 的一个高性能深度学习推理引擎，可以在 NVIDIA GPU 上加速深度学习推理。而 ONNX 是一种跨平台、开放的深度学习模型表示格式，可以在不同的深度学习框架之间灵活转换模型。 TensorRT 提供了一个 ONNX Parser，可以将 ONNX 模型解析为 TensorRT 的网络表示形式。这样，您就可以在 TensorRT 中加载 ONNX 模型，并在 NVIDIA GPU 上进行加速推理。以下是将 ONNX 模型转换为 TensorRT 的一些步骤： 1. 安装 TensorRT 和 ONNX Runtime 在使用 ONNX Parser 之前，需要先安装 TensorRT 和 ONNX Runtime。可以从 NVIDIA 官网下载 TensorRT，也可以通过 pip 安装 ONNX Runtime。 2. 将 ONNX 模型解析为 TensorRT 的网络表示形式 使用 TensorRT 的 ONNX Parser，可以将 ONNX 模型解析为 TensorRT 的网络表示形式。这个过程可以通过以下 Python 代码实现： ```python import tensorrt as trt import onnx # Load the ONNX model onnx_model = onnx.load("model.onnx") # Create a TensorRT builder builder = trt.Builder(TRT_LOGGER) # Create a TensorRT network from the ONNX model network = builder.create_network() parser = trt.OnnxParser(network, TRT_LOGGER) parser.parse(onnx_model.SerializeToString()) # Build an engine from the TensorRT network engine = builder.build_cuda_engine(network) ``` 在这个过程中，首先使用 ONNX 的 Python API 加载 ONNX 模型。然后，使用 TensorRT 的 Python API 创建一个 TensorRT builder 和一个 TensorRT network。接下来，使用 TensorRT 的 ONNX Parser 将 ONNX 模型解析为 TensorRT 的网络表示形式，并将其添加到 TensorRT network 中。最后，使用 TensorRT builder 构建一个 TensorRT 引擎。 3. 运行 TensorRT 引擎 构建完 TensorRT 引擎后，可以使用以下代码来运行 TensorRT 推理： ```python import pycuda.driver as cuda import pycuda.autoinit import numpy as np # Load the engine with open("engine.plan", "rb") as f: engine_data = f.read() engine = runtime.deserialize_cuda_engine(engine_data) # Allocate input and output buffers on the GPU input_bindings = [] output_bindings = [] stream = cuda.Stream() for binding in engine: size = trt.volume(engine.get_binding_shape(binding)) * engine.max_batch_size dtype = trt.nptype(engine.get_binding_dtype(binding)) if engine.binding_is_input(binding): input_bindings.append(cuda.mem_alloc(size * dtype.itemsize)) else: output_bindings.append(cuda.mem_alloc(size * dtype.itemsize)) # Load input data to the GPU input buffer input_data = np.random.randn(batch_size, input_size) cuda.memcpy_htod(input_bindings[0], input_data.flatten().astype(np.float32)) # Run inference context = engine.create_execution_context() context.execute_async_v2(bindings=input_bindings + output_bindings, stream_handle=stream.handle) cuda.streams.synchronize() # Get the output data from the GPU output buffer output_data = np.empty((batch_size, output_size), dtype=np.float32) cuda.memcpy_dtoh(output_data.flatten(), output_bindings[0]) ``` 在这个过程中，首先使用 TensorRT 的 Python API 加载 TensorRT 引擎。然后，使用 PyCUDA 分配输入和输出缓冲区，并将输入数据从主机（CPU）传输到设备（GPU）。接下来，使用 TensorRT 的 Python API 创建一个 TensorRT 执行上下文，并在 GPU 上异步执行 TensorRT 推理。最后，使用 PyCUDA 将输出数据从设备（GPU）传输到主机（CPU）。 这就是将 ONNX 模型转换为 TensorRT 的一些步骤。由于 ONNX Parser 是 TensorRT 的一部分，因此可以使用 TensorRT 的 Python API 轻松地将 ONNX 模型转换为 TensorRT。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值