模型部署 - onnx的导出和分析 - onnx 注册自定义算子 - 学习记录

已于 2024-03-13 10:29:07 修改
阅读量1.6k 收藏 12
点赞数 7
分类专栏： Onnx与TensorRT 文章标签： 学习 pytorch 深度学习
于 2024-03-03 16:52:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40653140/article/details/136425313
版权
本文详细介绍了如何在PyTorch中手写并注册自定义算子，将其整合到模型定义中，以及使用torch.onnx.export()函数导出ONNX模型的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

onnx 注册自定义算子


一般我们自定义算子的时候，有以下流程

  1. 编写算子并注册
  2. 将算子放进模型定义
  3. 利用 torch.onnx.export() 编写 onnx 导出函数

第一步：手写一个算子，然后注册一下

（注册就是在正常的 forward 之前加一个 symbolic 函数）
（如何注册理解 symbolic 参考上个博客）

class CustomOp(torch.autograd.Function):
了解本专栏 订阅专栏 解锁全文 超级会员免费看
onnx算子的注册详解及案例 （完整版）
@bangbang的博客
12-14 457
在对swim-transformer导出onnx时，尽管我们已经安装官方文档将需要的库的安装好了，但在导出onnx时会发生下列的问题提示, 错误提示opset9不支持，但我们自然就想到通过提升opset版本，比如提升到12,13。结果发现导出onnx还是会报错从代码中发现我们有一个torch.roll算子，在onnx官方文档中发现onnx暂时是不支持该算子的导出的。return x# PyTorch的推理# onnxruntime的推理。
模型部署 - onnx 的导出和分析 - PyTorch 导出 ONNX - 学习记录
点云算法工程师
03-03 4809
上面是 onnx 可以直接被导出的情况，是因为对应的 pytorch 和 onnx 版本都有相应支持的算子在里面。与上面例子不同的是，这个注册方式跟底层文件的写法是一样的（文件在虚拟环境中的 torch/onnx/symbolic_opset*.py ）比如下面的这个报错，提示当前 onnx 的 opset 版本不支持这个算子，那我们可以去官方手册搜索一下是否在高的版本支持了这个算子。有些算子在 onnx 中是有的，但是在 pytorch 中没被登记，则需要。（实际上就是一个矩阵乘法）
记录pytorch实现自定义算子并转onnx文件输出
Briwisdom的博客
11-14 1703
概览：记录了如何自定义一个算子，实现pytorch注册，通过C++编译为库文件供python端调用，并转为onnx文件输出
ONNX自定义算子与文件导出流程再梳理
Briwisdom的博客
11-07 1779
工作需要把onnx导出文件的流程又梳理了一遍，弄清楚了如何自定义算子，以及导出结果检查。分享一下~
pytorch转onnx自定义算子
weixin_43656490的博客
12-21 1108
pytorch导出含有自定义算子的onnx文件
模型部署——CenterPoint转ONNX(自定义onnx算子)
xiaohu的博客
10-27 3947
4.torch stack算子 onnx不支持，导出onnx计算图很，将stack和后续PointPillarScatter转换一起定义为ScatterBevPlugin算子，自定义onnx节点和自定义TensorRT算子来实现。2.torch_scatter的scatter_mean和scatter_max onnx不支持，人为自定义onnx节点，后续并自定义tensorRT的scatter_mean和scatter_max算子。
使用Pytorch导出自定义ONNX算子
霹雳吧啦Wz
03-04 3517
在实际部署模型时有时可能会遇到想用的算子无法导出onnx，但实际部署的框架是支持该算子的。此时可以通过自定义onnx算子的方式导出onnx模型（注：自定义onnx算子导出onnx模型后是无法使用onnxruntime推理的）。但对于当前导出onnx场景可以不用管它，后面的参数是实际自己传入的参数。方法指定具体导出自定义算子的名称，以及输入的参数（注：上面示例中传入的都是。打开自己导出的onnx文件，可以看到如下所示网络结构。，后面的参数任为实际自己传入的参数，然后通过。方法是在导出onnx时调用的函数。
pytorch自定义算子导出onnx
MAX的专栏
11-20 1364
1、没有现成可用的算子，需要根据自己的接口重写。2、现有的算子接口不兼容，需要在原有的算子上进行封装。继承类，实现其forward()和backward()方法,就可以成为一个pytorch自定义算子。就可以在模型训练推理中完成前向推理和反向传播。forward() 函数的第一个参数必须是ctx, 后面是输出。在工程部署上，一般为了加快计算，自定义算子需要用cuda 实现forward()、backward（）kernel 函数。实现其symbolic 静态方法。
自定义算子转bin模型
03-26
在深度学习领域，模型的构建和优化经常需要利用到自定义算子（Custom Operators），以满足特定计算需求或实现高效算法。"自定义算子转bin模型"这一主题，主要涉及的是如何将我们自己编写的自定义算子整合进模型，并...
Pytorch模型部署：torch-onnx-ncnn
MY_WARNING的博客
08-22 2316
部署
【PYTORCH ＞＞ ONNX ＞＞ TENSORRT】自定义plug-in算子解析onnx模型生成引擎详细步骤
weixin_45878768的博客
12-03 3061
pytorch >> onnx >> tensorrt 自定义plugin生成engine关键步骤记录。
pytorch自定义算子并导出onnx计算图详细代码教程
永远飞翔的鸟
09-05 1943
【代码】pytorch自定义算子并导出onnx计算图详细代码教程。
Torch 自定义算子，Onnx自定义算子，TensorRT自定义算子
最新发布
m0_55630410的博客
01-14 1228
从torch算子到Onnx算子再到TensorRT算子
torch注册自定义算子并导出onnx(Enet, Centernet)
Artyze的博客
07-28 8887
torch注册自定义算子定义算子计算函数编译生成.so文件测试是否注册成功1. 定义算子的由input到output的计算函数**(op_custom.cpp)**2. 将函数注册到torch中**(op_custom.cpp)**3. 创建setup.py4. 开始编译5. 进行测试->加载模型**(test.py)**第一种：第二种：6. 进行测试->将算子通过symbol注册到torch/onnx(test.py)7. 进行测试->导出模型到onnx(test.py)8. 查看onn
深入解析基于C语言的Ascend自定义算子开发及ONNX框架适配：从算子注册到插件开发的全流程
qq_38334677的博客
09-22 232
*ONNX（Open Neural Network Exchange）**是一个开放的神经网络交换格式，支持跨框架和跨硬件的神经网络模型互操作。它允许开发者在不同的深度学习框架（如TensorFlow、PyTorch等）之间轻松交换模型，并支持不同的硬件平台，如GPU、TPU和Ascend AI处理器。在将自定义算子算子注册：使用宏将自定义算子注册到Ascend框架中，并定义其映射到ONNX框架的对应算子类型。属性解析：通过回调函数。
PyTorch自定义C++拓展算子、转换ONNX模型、ORT部署实现
嘤熊嚎杰的博客
03-01 2047
我们先来看一下建立的PyTorch模型，这是一个三层一维卷积模型，最后接了线性层完成分类任务输出。可以看到将应有的激活函数替换为了LIFSpike，并且传入了thresh和beta两个参数，模型中的其他参数省略。以下是LIFSpike的python部分实现，完整代码请见SNN-HAR，这里为了方便理解把源码中的ZIF替换为了FastSigmoid。
TenserRT（四）在 PYTORCH 中支持更多 ONNX 算子
fanre的专栏
07-30 740
torch/_C/_VariableFunctions.pyi和两个文件可以获取函数的输入定义，这两个文件是编译pytorch时自动生成的，里面包含了ATen算子的pytorch调用接口，在torch/_C/_VariableFunctions.pyi中搜索asinh接口为缺失算子为asinh，在ATen中实现的算子，在_VariableFunctions.pyi找到对应接口，需要补充对应的符号函数，使其在转场ONNX时不在报错。#定义一个包含算子的模型。
[pytorch] torch.onnx.export 使用及自定义层构建
头狼博客
07-14 1834
构建pytorch转onnx的自定义层
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值