Pytorch添加自定义算子之（4）-配置onnxruntime的python调用

最新推荐文章于 2024-10-15 11:38:32 发布
最新推荐文章于 2024-10-15 11:38:32 发布
阅读量232 收藏 1
点赞数 1
分类专栏： 深度学习之自定义算子实现 文章标签： python pytorch 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_28342107/article/details/132779697
版权
本文详细介绍了如何将Pytorch中的自定义算子转换为ONNXRuntime可调用的形式，包括创建动态库头文件custom_py.h和cpp文件custom_py.cc，编写CMakeLists.txt进行编译，最后在Python环境中成功调用编译后的动态库进行运算。
摘要由CSDN通过智能技术生成

参考上一篇C++的调用：
https://blog.csdn.net/baidu_28342107/article/details/132734699
参考onnxruntime的windows调用：

一、构建onnxruntime的调用动态库

1.动态库头文件命名：custom_py.h

#pragma once
#include "/media/onnxruntime-linux-x64-gpu-1.15.1/include/onnxruntime_c_api.h"
了解本专栏 订阅专栏 解锁全文 超级会员免费看
誓天断发
关注
专栏目录
订阅专栏
yolo-使用onnxruntime部署yolov5目标检测算法.zip
03-02
2. 导入ONNXRuntime：在Python代码中引入`onnxruntime`模块。 3. 加载ONNX模型：使用`onnxruntime.InferenceSession`加载YOLOv5的ONNX模型文件。 4. 准备输入数据：将待检测图像预处理成模型所需的格式，如归一化、...
PyTorch自定义C++拓展算子、转换ONNX模型、ORT部署实现
嘤熊嚎杰的博客
03-01 1583
我们先来看一下建立的PyTorch模型，这是一个三层一维卷积模型，最后接了线性层完成分类任务输出。可以看到将应有的激活函数替换为了LIFSpike，并且传入了thresh和beta两个参数，模型中的其他参数省略。以下是LIFSpike的python部分实现，完整代码请见SNN-HAR，这里为了方便理解把源码中的ZIF替换为了FastSigmoid。
模型部署——CenterPoint转ONNX(自定义onnx算子)
xiaohu的博客
10-27 3528
4.torch stack算子 onnx不支持，导出onnx计算图很，将stack和后续PointPillarScatter转换一起定义为ScatterBevPlugin算子，自定义onnx节点和自定义TensorRT算子来实现。2.torch_scatter的scatter_mean和scatter_max onnx不支持，人为自定义onnx节点，后续并自定义tensorRT的scatter_mean和scatter_max算子。
自定义算子onnx-bin
04-01
4. **导出模型**: 当模型训练完成并包含了自定义算子时，你需要确保这些算子在导出到ONNX模型时能够被正确地序列化。这通常需要在模型转换时调用相应的工具或库，如PyTorch的`torch.onnx.export()`。 5. **加载和...
pyonnx-example:使用python实现基于onnxruntime的一些模型推断
03-12
使用python实现基于onnxruntime推理框架的深度学习模型的推理功能。 可以将onnx模型转换为大多数主流的深度学习推理框架模型，因此您可以在部署模型之前测试onnx模型是否正确。 注意：此处的模型由pytorch 1.6训练...
算法部署-基于C++和Python使用ONNXRuntime部署RT-DETR目标检测算法-附项目源码-优质项目实战.zip
05-12
4. **编写推理代码**：在C++或Python中编写推理代码，加载编译后的执行计划，预处理输入图像，然后调用ONNXRuntime的`Run`方法进行预测。 5. **后处理结果**：由于目标检测模型通常输出边界框坐标和类别概率，你...
onnxruntime-win-x64-1.14.1
05-05
ONNX Runtime 作为推理引擎，其优势在于跨框架兼容性和优化的性能，使得开发者可以从多个深度学习框架（如 TensorFlow, PyTorch, Keras 等）中导出模型，然后在 ONNX Runtime 上实现统一的、高性能的推理。...
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1167
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
Backend - Java 基础
是萝卜干呀的博客
10-11 832
知识量决定了未来能走多远
【python入门到精通专题】8.装饰器
情不知所起一往而深
10-13 760
什么是property属性？一种用起来像是使用的实例属性一样的特殊属性，可以对应于某个方法。class Foo:pass# 定义property属性@propertypassfoo_obj.func() # 调用实例方法foo_obj.prop # 调用property属性@propertyreturn 100定义时，在实例方法的基础上添加 @property 装饰器；并且仅有一个self参数调用时，无需括号。
python安装第三方库的问题与解决方法
WANGWUSAN66的博客
10-10 798
大部分第三方库都是在国外网站，如果直接使用pip install 包名，下载速度会很慢，这对一些大型包是很致命的，如果下载中断则需要重头再来。安装某些包时，进行到一半出现构建wheel错误，这可能由于某些神秘的原因造成的，非常让人恼火。有些包（如rasterstats）既不能通过pip安装，在2中的网站也找不到，该怎么办？在python第三方库综合网站上搜索这个包，手动下载whl文件，下载完成后使用。解决方案：使用国内镜像（如清华镜像下载），速度很容易达到1M以上；
如何使用Python爬虫处理JavaScript动态加载的内容？
Z_suger7的博客
10-11 712
JavaScript动态加载的内容为爬虫带来了挑战，但也提供了新的机遇。通过使用Selenium、分析API请求或Pyppeteer，我们可以有效地爬取这些动态内容。这些方法各有优势，Selenium适合模拟复杂的用户交互，API请求适合直接获取数据，而Pyppeteer则提供了更强大的JavaScript控制能力。在实际应用中，开发者应根据目标网站的特点和需求选择合适的方法。随着技术的不断发展，我们也需要不断学习和适应新的工具和方法，以保持在数据获取领域的竞争力。复制再试一次分享。
Python知识点：基于Python技术，如何使用AirSim进行无人机模拟
码农超哥的博客
10-13 473
AirSim是由微软开发的一个开源模拟器，它支持多种无人机模型，并且可以模拟真实的物理环境和传感器数据。AirSim提供了Python API，使得用户可以通过Python脚本控制无人机的行为，包括起飞、降落、移动和执行任务等。AirSim提供了一个强大的平台，允许用户在虚拟环境中测试和开发无人机应用。通过Python API，用户可以轻松地控制无人机的行为，并获取传感器数据，这对于算法开发和测试尤为重要。随着无人机技术的不断进步，AirSim将继续在无人机领域发挥重要作用。
RWKV-CHN模型部署教程
SJJS_1的博客
10-10 1207
RWKV-x060-World-7B-v2.1-20240507-ctx4096 一号空间，RWKV 语言模型旨在通过为自动化所有事情来消除使用大型语言模型的障碍。用户所需要的就是一个只有几兆字节的轻量级可执行程序。本文将详细介绍如何实现该模型的本地部署。
JavaSE——认识异常
wx2023_10_15的博客
10-12 955
本文主要是正在学习异常的总结，主要讲了异常的概念、体系结构、分类、处理以及捕获，还有自定义异常类
从零开始搭建自动化测试工具：详细指南(四)-完结
zhangkexin_z的博客
10-11 392
在项目根目录下，创建conftest.py文件，使用pytest的钩子函数来实现。每执行一次用例，钩子函数会获取执行结果，根据执行结果来封装自己的测试报告。# 执行默认的钩子返回的report中，包含了测试结果信息，根据report的数据，来封装自己的测试报告。在中，可以使用pytest的标记功能来标记特定的功能（Feature）、场景（Scenario）或者步骤（Step）。例如，在.feature@slow这里使用了@slow标记来标记一个功能。passpass可以在运行pytest时，使用。
Street Gaussians 学习笔记
jacke121的专栏
10-09 328
浙大和理想汽车提出Street Gaussians：用于动态城市场景建模。
Python实现文本数据可视化：构建动态词云
最新发布
所念皆星河
10-15 166
在信息爆炸的时代，如何有效地从海量的文本数据中提取关键信息并直观展示，成为数据分析师和研究人员面临的重要挑战。词云作为一种流行的文本可视化工具，通过不同大小、颜色和字体的文字展示文本中关键词的出现频率或重要性，帮助观众快速把握文本主旨。本文将深入探讨如何使用Python构建动态词云，并结合实际案例展示其应用技巧。
Python 入门教程（6）函数 | 6.1、函数定义
个人技术博客
10-09 813
在Python中，函数通过def关键字来定义。def 函数名(参数列表) : """函数文档字符串（docstring），用于描述函数的功能和用法""" 函数体 return 返回值遵循Python的命名规则，应具有描述性，便于理解函数的功能。用于接收传递给函数的值，可以包含多个参数，参数之间用逗号分隔。包含执行具体任务的代码块，必须缩进。使用return语句返回结果，可以返回多个值（以元组形式）。如果不显式返回，则默认返回None。
如何在pytorch上发布自定义算子
06-02
在PyTorch中，我们可以使用C++或CUDA编写自定义算子，并将其发布为PyTorch的扩展，以便在PyTorch中使用。下面是发布自定义算子的一般步骤： 1. 编写C++或CUDA代码实现自定义算子。 2. 使用PyTorch提供的C++ API或...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

誓天断发

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值