Onnx推理框架

已于 2023-06-18 10:07:17 修改
阅读量437 收藏 4
点赞数
分类专栏： 配置 计算机视觉 文章标签： 计算机视觉 深度学习
于 2023-06-18 10:04:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thisiszdy/article/details/131268776
版权

Onnx推理框架

ONNX，即 Open Neural Network Exchange，当我们使用Pytorch或者TensorFlow训练完成后，通常会将其模型转化为ONNX模型(ONNX模型一般用于中间部署阶段)，然后再拿转化后的ONNX模型转换为我们使用不同框架部署需要的类型（如OpenVINO，ONNXRuntime，TensorRT）。

推理框架速度对比

目前支持Onnx推理的：ONNXRuntime、OpenVINO、TensorRT、OpenCV DNN…

  • CPU上速度最快的是OpenVINO；
  • GPU上速度最快的是TensorRT；
  • 同时支持CPU跟GPU，并且兼容性最好的是ONNXRuntime；
  • OpenCV DNN毫无意外的速度最慢（CPU/GPU）；
thisiszdy
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ONNXRuntime【推理框架，用户可以非常便利的用其运行一个onnx模型】
u013250861的博客
07-26 1395
虽然大家用ONNX时更多的是作为一个中间表示，从pytorch转到onnx后直接喂到TensorRT或MNN等各种后端框架了==，但这并不能否认ONNXRuntime是一款非常优秀的推理框架（微软出品，必属精品）。而且由于其自身只包含推理功能（1.2版本，最新的ONNXRuntime甚至已经可以训练，可见微软在其上面的野心还是有的），对比主流框架源码看起来没有那么复杂难懂，通过阅读其源码可以非常清晰的理解深度学习框架的一些核心功能原理（op注册，内存管理，运行逻辑等）。......
Onnx高效推理框架
weixin_46133588的博客
09-04 3517
Onnx推理框架： 参考： Inference PyTorch Bert Model with ONNX Runtime on GPU pytorch官网说明 Supported Operator Onnx支持的算子 https://pytorch.org/docs/stable/onnx.html?highlight=onnx%20runtime Supported Model Onnx支持的模型： AlexNet DCGAN DenseNet Inception (warning: this m
解决｜onnxruntime gpu 推理比 torch 慢，session 初始化
最新发布
weixin_44212848的博客
03-26 1377
用 pytorch 几秒就能跑完的，用 onnxruntime 反而慢了10 倍不止，下图中 ‘CUDAExecutionProvider’ 也说明 onnxruntime 确实是用上了 GPU。
pointnet推理部署--onnxruntime框架
taifyang的博客
07-23 1207
注意，由于C++无法直接读取npy格式文件（可以依赖一些库），这里先使用python脚本将npy文件转换成txt文件。以分16类50部分，gpu版本为例。以分10类，gpu版本为例。以分13类，gpu版本为例。
[深度学习主流框架解析一] Onnx
Pengcode的博客
10-17 856
Onnx同样也是采用了Protobuf协议进行模型文件的整体构建，与Caffe相比，Onnx使用了多proto文件描述模型。因此，解析Onnx模型文件需要了解多个proto文件之间的关联。proto文件之间的依赖关系如下所示：fill:#333;color:#333;color:#333;fill:none;
onnx 测试_ONNX深度学习推理引擎libonnx立项宣言
weixin_30658759的博客
12-31 328
2020年10月中旬，我在挖坑网发布了一个项目计划，计划手写一份纯C版AI深度学习推理引擎，并支持硬件加速接口，大家有啥意见及建议，还请不吝惕教。受到了广大“坑友”的积极响应，并立即开展了项目研发工作，现在开源已经2个月了，项目大体框架已定型，剩下的就是积极完善，性能优化以及功能扩展了。关于项目的一些背景介绍，我这里直接搬运之前的声明，算立项宣言了。有这想法，感觉是必然的，很多年前，了解过人工智能...
ONNX构架剖析和ProtoBuf
noplaxochia的博客
10-10 199
ONNX（Open Neural Network Exchange Intermediate Representation）是一种神经网络的格式，采用Protobuf二进制形式进行序列化模型。Protobuf 全称叫做Protocal Buffer。是Google提出来的一套表示和序列化数据的机制。Protobuf会根据用于定义的数据结构来进行序列化存储同理，我们可以根据官方提供的数据结构信息，去修改或者创建onnx。Protobuf的编译以及序列化流程。
Forward 是一款腾讯研发的 GPU 高性能推理加速框架
02-12
它提出了一种解析方案，可直接加载主流框架模型（Tensorflow / PyTorch / Keras / ONNX）转换成 TensorRT 推理加速引擎，帮助用户节省中间繁杂的模型转换或网络构建步骤。相对于直接使用 TensorRT，Forward 更易用...
gst-inference:GStreamer深度学习推理框架
05-16
GstInference是Ridgerun Engineering的一个开源项目，提供了将深度学习推理集成到GStreamer中的框架。 使用包含的元素之一使用最流行的深度学习体系结构进行开箱即用的推断，或者利用基类和实用程序来支持您自己的...
ONNXToCaffe:pytorch -> onnx -> caffe，pytorch to caffe，或者其他深度学习框架到onnx和onnx到caffe
05-29
代码主要来自 https://github.com/MTlab/onnx2caffe和 ... 其他用于 caffe bt ONNX 的深度学习框架 依赖关系 caffe（支持python） pytorch（如果要转换 onnx，则可选） 昂克斯 运行时 我们建议使用 protobuf
ONNX模型相关学习笔记
08-24
ONNX（Open Neural Network Exchange）是一种开放的神经网络交换格式，用于提供跨框架的模型中间表达框架，用于模型转换和部署。ONNX 使用 Protobuf 二进制格式来序列化模型，定义了一组和环境、平台均无关的标准...
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl
05-06
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl是onnx模型推理用的pip包，GPU版本，可取官网下载，但是速度较慢
pyonnx-example:使用python实现基于onnxruntime的一些模型推断
03-12
可以将onnx模型转换为大多数主流的深度学习推理框架模型，因此您可以在部署模型之前测试onnx模型是否正确。 注意：此处的模型由pytorch 1.6训练，并由onnx 1.8.1转换 要求 onnx == 1.8.1 onnxruntime == 1.7.0或...
ONNX(Open Neural Network Exchange)介绍
网络资源是无限的
07-23 4945
ONNX(Open Neural Network Exchange)介绍
深度学习之ONNX框架互通生态
Vertira的博客
02-04 1604
深度学习之ONNX框架互通生态 - 知乎ONNX格式介绍ONNX--开放神经网络交换格式（ Open Neural Network Exchange）作为框架共用的一种模型交换格式，使用protobuf二进制格式来序列化模型，可以提供更好的传输性能，我们可能会在某一任务中将Pytorch或者…https://zhuanlan.zhihu.com/p/165225746这篇写的不错。特别推荐。我还没有复现功能，待我复现各个功能后，再发布博客 ...
AI模型互通的新开放生态系统ONNX介绍与实践
hansun008的博客
11-28 1921
不远的将来，当大多数的AI框架和工具都支持ONNX标准的时候，就不会发生为了选择生产环境的AI框架而重新学习、为了能够生产环境应用模型而耗时移植模型等等类似的事件了。每个节点都是对一个运算器的调用。往往在研发阶段需要的模型属性和产品阶段是不同的，而且不同的框架也会在特定的某个属性上有所优化，例如训练速度、对网络架构的支持、是否支持移动设备等等。概括的说就是，ONNX是在跟踪分析AI框架所生成的神经网络在运行时是如何执行的，然后会利用分析的信息，创建一张可以传输的通用计算图，即符合ONNX标准的计算图。
第3章 开源大模型框架概览3.3 其他框架与工具3.3.1 ONNX：跨框架模型转换
禅与计算机程序设计艺术
01-28 874
在本章中，我们将深入探讨ONNX（Open Neural Network Exchange）框架，这是一个开源项目，旨在使AI开发人员能够更轻松地在不同的深度学习框架之间转换模型。我们将讨论ONNX的背景、核心概念、算法原理、具体操作步骤以及数学模型公式。此外，我们还将提供一些实际应用场景、工具和资源推荐，以及对未来发展趋势和挑战的总结。最后，我们将回答一些关于ONNX的常见问题。
[学习笔记] ONNX 基础知识
Le0v1n 的博客
01-24 3994
ONNX 基础（全是理论，没啥实际作用）
【YOLOX训练部署】YOLOX ONNX 使用GPU进行推理
乐亦亦乐的博客
01-01 7261
YOLOX训练自己的VOC数据集 【YOLOX训练部署】YOLOX训练自己的VOC数据集_乐亦亦乐的博客-CSDN博客 将自己训练的YOLOX权重转化成ONNX 并进行推理 【YOLOX训练部署】将自己训练的YOLOX权重转化成ONNX 并进行推理_乐亦亦乐的博客-CSDN博客 ONNX 在 CPU 上推理速度较慢，对比GPU效果，使用GPU对onnx进行推理。具体操作： 首先卸载onnxruntime，并安装onnxruntime-gpu pip uninstall onnxruntime
onnxruntime onnx推理
07-30
ONNXRuntime是微软推出的一款优秀的推理框架，它支持多种后端包括CPU、GPU、TensorRT和DML等，可以方便地运行ONNX模型。用户可以使用C、Python、Java等多种编程语言进行编写，并且提供了简单易用的API，使得使用者...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值