Py之onnx:onnx/onnxruntime库的简介、安装、使用方法之详细攻略

Py之onnx:onnx/onnxruntime库的简介、安装、使用方法之详细攻略

目录

onnx/onnxruntime库的简介

onnx/onnxruntime库的安装

onnx/onnxruntime库的使用方法

1、基础用法


onnx/onnxruntime库的简介

         Open Neural Network Exchange(ONNX)是一个开放的生态系统,赋予AI开发者选择正确工具的能力,以满足项目的不断发展。ONNX为AI模型提供了开源格式,涵盖深度学习和传统ML。它定义了一个可扩展的计算图模型,以及内置运算符和标准数据类型的定义。目前,我们专注于推理(评分)所需的功能。
         ONNX被广泛支持,并可在许多框架、工具和硬件中找到。在不同框架之间实现互操作性并简化从研究到生产的路径,有助于增加AI社区的创新速度。我们邀请社区加入我们,并进一步发展ONNX。

GitHub地址GitHub - onnx/onnx: Open standard for machine learning interoperability

onnx/onnxruntime库的安装


pip install onnx

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple onnx

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple onnxruntime

 

 

onnx/onnxruntime库的使用方法

1、基础用法

import onnx
import onnxruntime as ort

# 加载ONNX模型
model = onnx.load("model.onnx")

# 打印模型信息
print(onnx.helper.printable_graph(model.graph))

# 创建ONNX运行时
ort_session = ort.InferenceSession("model.onnx")

# 准备输入数据
input_data = np.random.rand(1, 3, 224, 224).astype(np.float32)

# 推理
ort_inputs = {ort_session.get_inputs()[0].name: input_data}
ort_outputs = ort_session.run(None, ort_inputs)

# 输出结果
print(ort_outputs)

ONNX(Open Neural Network Exchange)是一种开放的深度学习模型表示格式,它的目标是实现模型的互操作性。通过使用ONNX,可以将模型从一个深度学习框架转移到另一个框架,而无需重新训练模型。ONNX定义了一种中间表示(IR),可以表示深度学习模型的结构和参数。\[1\] ONNXRuntime是一个用于高性能推理的开源引擎,它支持在多个平台上运行ONNX模型。ONNXRuntime提供了一组API,可以加载和执行ONNX模型,并提供了针对不同硬件和操作系统的优化。它可以与各种深度学习框架(如PyTorch、TensorFlow等)集成,使得在不同框架之间进行模型转换和推理变得更加方便。\[1\] 关于问题中提到的错误信息,根据引用\[2\]中的内容,可能是由于打包的ONNX文件与当前版本的ONNXRuntime不兼容导致的。解决方法是重新打包ONNX文件,以适应当前版本的ONNXRuntime。 如果你对ONNXONNXRuntime的更多细节感兴趣,可以参考引用\[1\]和引用\[3\]中提供的文章,它们提供了关于ONNX标准、ONNXRuntime的设计理念以及使用ONNXONNXRuntime进行推理加速的详细信息。 #### 引用[.reference_title] - *1* *2* [onnx标准 & onnxRuntime加速推理引擎](https://blog.csdn.net/qq_33934427/article/details/124114195)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [onnxpytorch,tensorrt 推理速度对比GPU CPU](https://blog.csdn.net/weixin_37989267/article/details/126243985)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个处女座的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值