Pytorch添加自定义算子之（7）-使用onnxruntime自定义GPU与CPU最远点采样算子加载onnx模型

最新推荐文章于 2024-09-04 16:41:39 发布
最新推荐文章于 2024-09-04 16:41:39 发布
阅读量305 收藏
点赞数
分类专栏： 深度学习之自定义算子实现 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_28342107/article/details/132819882
版权
本文详细介绍了如何在Pytorch中添加自定义算子，并利用onnxruntime在GPU和CPU上进行最远点采样操作。从下载安装onnxruntime到配置CMakeLists.txt，再到编写cuda_ops和sampling文件，最后通过查看GPU及CPU的模型输出结果，验证了自定义算子的成功应用。然而，在过程中遇到了`libcufft.so.10`库找不到的问题。
摘要由CSDN通过智能技术生成

一、下载安装onnxruntime

参考：
https://gitcode.net/mirrors/microsoft/onnxruntime/-/releases?spm=1033.2243.3001.5877

二、配置CMakeLists.txt

cmake_minimum_required(VERSION 3.10)
project (customop)
add_definitions(-std=c++
了解本专栏 订阅专栏 解锁全文 超级会员免费看
誓天断发
关注
专栏目录
订阅专栏
Pytorch添加自定义算子之（3）-配置onnxruntime的C++调用
baidu_28342107的博客
02-27 262
命名为：custom_op.cc/**/private:public:floatconst/*} };return 1;/*} };
Pytorch添加自定义算子之（4）-配置onnxruntime的python调用
baidu_28342107的博客
02-27 240
参考上一篇C++的调用： https://blog.csdn.net/baidu_28342107/article/details/132734699 参考onnxruntime的windows调用： 2.动态库cpp文件：custom_py.cc 二、构建CMakeLists.txt 三、编译 可以看到成功后动态库.so文件以及路径
模型部署自定义算子
ZHANG8023ZHEN的博客
05-06 214
https://zhuanlan.zhihu.com/p/513387413 onnx中有的算子以及接口函数 https://github.com/onnx/onnx/blob/main/docs/Operators.md#Cosh https://github.com/pytorch/pytorch/tree/master/torch/onnxhttps://zhuanlan.zhihu.com/p/555687091 https://zhuanlan.zhihu.com/p/297002406https
给树莓派交叉编译onnxruntime，主机环境ubuntu2204。踩的坑
最新发布
Miuney的博客
09-04 280
（本着严谨的态度，提前做一个声明，以下操作，仅仅用来实现基础操作，比如树莓派+yolov8+onnx跑个结果什么的，能否实现复杂甚至深层的操作，我不知道，我也没有对交叉编译的复杂操作搞透。3、现在onnxruntime的编译使用的是 build.sh了，如果想继续使用CMAKE的一些参数，可以像我这样：bash ./build.sh --cmake_extra_defines CMAKE_TOOLCHAIN_FILE=xxxx.cmake CMAKE_INSTALL_PREFIX=xxxx。
C++环境下onnxruntime推理自定义模型
m0_57254760的博客
04-29 3502
代码是一个使用ONNX Runtime C++ API执行图像处理任务的示例，具体来说是通过一个预训练的U-Net模型（假设）对输入图像进行某种形式的语义分割
pytorch自定义算子并导出onnx计算图详细代码教程
永远飞翔的鸟
09-05 1680
【代码】pytorch自定义算子并导出onnx计算图详细代码教程。
ONNX自定义算子与文件导出流程再梳理
Briwisdom的博客
11-07 1484
工作需要把onnx导出文件的流程又梳理了一遍，弄清楚了如何自定义算子，以及导出结果检查。分享一下~
onnx标准 & onnxRuntime加速推理引擎
热门推荐
qq_33934427的博客
04-12 1万+
onnx标准 & onnxRuntime加速推理引擎 文章目录onnx标准 & onnxRuntime加速推理引擎一、onnx简介二、pytorch转onnx三、tf1.0 / tf2.0 ckpt转onnx四、python onnx的使用1、环境安装2、获得onnx模型权重参数（可视化）3、onnx模型推理 参考博客： ONNX运行时：跨平台、高性能ML推断和训练加速器 python关于onnx模型的一些基本操作 ONNX 與 Azure Machine Learning：建立並加速 M
Pytorch添加自定义算子之（6）-最远点采样自定义算子添加至pytorch中使用并导出onnx模型
baidu_28342107的博客
02-27 125
参考：Pytorch2Onnxruntime的github地址，忘记了具体网址了。
高效的基于点的3D LiDAR目标检测器IA-SSD简介及实验证明
为了减少存储器和计算成本，现有的基于点的流水线通常采用与任务无关的随机采样或最远点采样来逐步下采样输入点云，尽管并非所有点对于对象检测任务都同样重要。特别地，对于对象检测器，前景点本质上受此启发，我们...
CVPR2023 | 一种不需要点聚类的新颖点云实例分割算法
3D视觉工坊
11-13 476
作者：PCIPG-HAY | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群现有的 3D 实例分割方法以自下而上的设计为主——手动微调算法将点分组为簇，然后是细化网络。然而，由于依赖于聚类的质量，当（1）具有相同语义类的附近对象被打包在一起，或（2）具有松散连接区域的大型对象时，这些...
ubuntu安装 veloview_Pointnet+Frustum-Pointnet复现(Pytorch1.3+Ubuntu18.04)
weixin_39608063的博客
12-19 1079
目录1.数据集和预处理1.1 ModelNet40ModelNet40是一个大规模3D CAD数据集，始于3D ShapeNets: A Deep Representation for Volumetric ShapesZhirong，创建初衷是为了学习到能良好捕捉类内差别的3D表示，比当时最新的数据集大22倍。包含151,128个3D CAD模型和660个不同类别，如下图。作者在实验时仅选取了4...
使用 C# 和 ONNX Runtime 加载和运行 ONNX 模型
baidu_31718835的博客
06-15 9236
今天突然有人和我说想要实现windows环境下c#调用tensorflow模型，我想着ONNX不是可以搞嘛，然后我翻了一下以前做的，没翻到，就查询了下资料，鼓捣出来了下面将介绍如何使用 C# 和 ONNX Runtime 库加载并运行 ONNX 模型。ONNX是啥我就不说了，留个链接。废话不说，show me code！在本篇博客中，我们展示了如何使用 C# 和 ONNX Runtime 库加载和运行 ONNX 模型。
模型部署入门教程（四）：在 PyTorch 中支持更多 ONNX 算子
qq_39967751的博客
05-26 2303
模型部署入门系列教程持续更新啦，在上一篇教程中，我们系统地学习了 PyTorch 转 ONNX 的方法，可以发现 PyTorch 对 ONNX 的支持还不错。但在实际的部署过程中，难免碰到模型无法用原生 PyTorch 算子表示的情况。这个时候，我们就得考虑扩充 PyTorch，即在 PyTorch 中支持更多 ONNX 算子。 而要使 PyTorch 算子顺利转换到 ONNX ，我们需要保证以下三个环节都不出错： 算子在 PyTorch 中有实现 有把该 PyTorch 算子映射成一个或多个 ONN
PyTorch模型部署流程(ONNX Runtime)
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
07-16 3399
模型部署指让训练好的深度学习模型在特定环境中运行的过程。模型部署会面临的难题： 运行模型所需的环境难以配置。深度学习模型通常是由一些框架编写，比如 PyTorch、TensorFlow。由于框架规模、依赖环境限制，框架不适合在手机、开发板等生产环境中安装。模型部署不能靠简单的环境配置与安装完成。本文介绍目前模型部署比较流行的流水线：不同的模型先统一转换为onnx中间件再转到不同的推理引擎上进行推理。
onnxruntim的使用方法
qq_44089890的博客
05-09 6080
ONNX Runtime 是一个用于高效推理 ONNX 模型的开源引擎。ONNX 是一种开放的深度学习模型交换格式，可以用于将深度学习模型从一个框架转换到另一个框架，从而实现跨平台和跨框架的模型部署和推理。ONNX Runtime 提供了一个高度优化的推理引擎，可在多种硬件平台上以低延迟和高吞吐量运行 ONNX 模型。
模型部署——CenterPoint转ONNX(自定义onnx算子)
xiaohu的博客
10-27 3568
4.torch stack算子 onnx不支持，导出onnx计算图很，将stack和后续PointPillarScatter转换一起定义为ScatterBevPlugin算子，自定义onnx节点和自定义TensorRT算子来实现。2.torch_scatter的scatter_mean和scatter_max onnx不支持，人为自定义onnx节点，后续并自定义tensorRT的scatter_mean和scatter_max算子。
模型部署 - onnx的导出和分析 - onnx 注册自定义算子 - 学习记录
点云算法工程师
03-03 1089
第一步：手写一个算子，然后注册一下第二步：将算子放进模型定义第三步：利用 torch.onnx.export() 编写onnx 导出函数一般我们自定义算子的时候，有以下流程编写算子并注册将算子放进模型定义利用 torch.onnx.export() 编写 onnx 导出函数return x。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

誓天断发

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值