ONNX笔记三

最新推荐文章于 2023-12-24 01:31:45 发布
最新推荐文章于 2023-12-24 01:31:45 发布
阅读量344 收藏
点赞数
分类专栏： TensorRT-部署-加速
原文链接：https://zhuanlan.zhihu.com/p/41255090
版权

1.Motivation:

现如今，各大主流深度学习框架都有着自己独有的特点与魅力，吸引着广大科研与开发人员，例如：

Caffe2：方便机器学习算法和模型大规模部署在移动设备

PyTorch：PyTorch是一个快速便于实验深度学习框架。但是由于其高度封装，导致部分function不够灵活

TensorFlow：TensorFlow 是一个开放源代码软件库，是很多主流框架的基础或者依赖。几乎能满足所有机器学习开发的功能，但是也有由于其功能代码过于底层，学习成本高，代码冗繁，编程逻辑与常规不同等缺点。

此外还有：Cognitive Toolkit (CNTK)，Apache MXNet，Chainer，Apple CoreML，SciKit-Learn，ML.NET

深度学习算法大多通过计算数据流图来完成神经网络的深度学习过程。 一些框架（例如CNTK，Caffe2，Theano和TensorFlow）使用静态图形，而其他框架（例如PyTorch和Chainer）使用动态图形。 但是这些框架都提供了接口，使开发人员可以轻松构建计算图和运行时，以优化的方式处理图。 这些图用作中间表示（IR），捕获开发人员源代码的特定意图，有助于优化和转换在特定设备（CPU，GPU，FPGA等）上运行。

假设一个场景：现在某组织因为主要开发用TensorFlow为基础的框架，现在有一个深度算法，需要将其部署在移动设备上，以观测变现。传统地我们需要用caffe2重新将模型写好，然后再训练参数；试想下这将是一个多么耗时耗力的过程。

此时，ONNX便应运而生，Caffe2，PyTorch，Microsoft Cognitive Toolkit，Apache MXNet等主流框架都对ONNX有着不同程度的支持。这就便于了我们的算法及模型在不同的框架之间的迁移。

2. ONNX ：

2.1 ONNX Overview

开放式神经网络交换（ONNX）是迈向开放式生态系统的第一步，它使AI开发人员能够随着项目的发展选择合适的工具。 ONNX为AI模型提供开源格式。 它定义了可扩展的计算图模型，以及内置运算符和标准数据类型的定义。 最初的ONNX专注于推理（评估）所需的功能。 ONNX解释计算图的可移植，它使用graph的序列化格式。 它不一定是框架选择在内部使用和操作计算的形式。 例如，如果在优化过程中操作更有效，则实现可以在存储器中以不同方式表示模型。

ONNX是一个开放式规范，由以下组件组成：

  • 可扩展计算图模型的定义
  • 标准数据类型的定义
  • 内置运算符的定义

2.2 ONNX model:

The top-level ONNX construct is a ‘Model.’

模型结构的主要目的是将元数据(meta data)与图形(graph)相关联，图形包含所有可执行元素。 首先，读取模型文件时使用元数据，为实现提供所需的信息，以确定它是否能够：执行模型，生成日志消息，错误报告等功能。此外元数据对工具很有用，例如IDE和模型库，它需要它来告知用户给定模型的目的和特征。

每个model具有以下组件：
在这里插入图片描述

2.2.1 ONNX Operator Sets:

每个模型必须明确命名它依赖于其功能的运算符集。 操作员集定义可用的操作符，其版本和状态。 每个模型按其域定义导入的运算符集。 所有模型都隐式导入默认的ONNX运算符集。

运算符集的属性是：
在这里插入图片描述

2.2.2 ONNX Operator

图(graph)中使用的每个运算符必须由模型(model)导入的一个运算符集明确声明。

运算符定义的属性是：
在这里插入图片描述

2.3.1 ONNX Graph

序列化图由一组元数据字段(meta data)，模型参数列表(a list of model parameters,)和计算节点列表组成(a list of computation nodes)。

每个计算数据流图被构造为拓扑排序的节点列表，这些节点形成图形，其必须没有周期。 每个节点代表对运营商的呼叫。 每个节点具有零个或多个输入以及一个或多个输出。

图表具有以下属性：
在这里插入图片描述

每个图都必须定义其输入和输出的名称和类型，并指定为“值信息”结构，并具有以下属性：
在这里插入图片描述

2.3.2 图的名称

所有名称必须遵守C标识符语法规则。

节点，输入，输出，初始化器和属性的名称被组织到多个名称空间中。 在命名空间内，每个给定图形的每个名称必须是唯一的。

命名空间是：
在这里插入图片描述

2.3.3 Node

计算节点由名称，它调用的运算符的名称，命名输入列表，命名输出列表和属性列表组成。输入和输出在位置上与operator输入和输出相关联。 属性按名称与运算符属性相关联。

它们具有以下属性：
在这里插入图片描述

计算图中的边缘由后续节点的输入中由名称引用的一个节点的输出建立。

给定节点的输出将新名称引入图中。 节点输出的值由节点的运算符计算。 节点输入可以指定节点输出，图形输入和图形初始化。 当节点输出的名称与图形输出的名称一致时，图形输出的值是该节点计算的相应输出值。

3. ONNX Python API

  1. Loading an ONNX Model
  2. Saving an ONNX Model
  3. ManipulatingTensorProtoandNumpyArray
  4. Creating an ONNX Model Using HelperFunctions
  5. Checking an ONNX Model
  6. Optimizing an ONNX Model
  7. Running Shape Inference on an ONNX Model
  8. UtilityFunctions

3.1 Loading an ONNX Model

import onnx

onnx_model = onnx.load('path/to/the/model.onnx')
# `onnx_model` is a ModelProto struct

3.2 Saving an ONNX Model

import onnx

onnx_model = ... # Your model in memory as ModelProto

# Save the ONNX model
onnx.save(onnx_model, 'path/to/the/model.onnx')

3.3 ManipulatingTensorProtoandNumpyArray

import numpy
import onnx
from onnx import numpy_helper

# Preprocessing: create a Numpy array
numpy_array = numpy.array([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]], dtype=float)
print('Original Numpy array:\n{}\n'.format(numpy_array))

# Convert the Numpy array to a TensorProto
tensor = numpy_helper.from_array(numpy_array)
print('TensorProto:\n{}'.format(tensor))

# Convert the TensorProto to a Numpy array
new_array = numpy_helper.to_array(tensor)
print('After round trip, Numpy array:\n{}\n'.format(numpy_array))

# Save the TensorProto
with open('tensor.pb', 'wb') as f:
    f.write(tensor.SerializeToString())

# Load a TensorProto
new_tensor = onnx.TensorProto()
with open('tensor.pb', 'rb') as f:
    new_tensor.ParseFromString(f.read())
print('After saving and loading, new TensorProto:\n{}'.format(new_tensor))

3.4 Creating an ONNX Model Using HelperFunctions

import onnx
from onnx import helper
from onnx import AttributeProto, TensorProto, GraphProto


# The protobuf definition can be found here:
# https://github.com/onnx/onnx/blob/master/onnx/onnx.proto


# Create one input (ValueInfoProto)
X = helper.make_tensor_value_info('X', TensorProto.FLOAT, [1, 2])

# Create one output (ValueInfoProto)
Y = helper.make_tensor_value_info('Y', TensorProto.FLOAT, [1, 4])

# Create a node (NodeProto)
node_def = helper.make_node(
    'Pad', # node name
    ['X'], # inputs
    ['Y'], # outputs
    mode='constant', # attributes
    value=1.5,
    pads=[0, 1, 0, 1],
)

# Create the graph (GraphProto)
graph_def = helper.make_graph(
    [node_def],
    'test-model',
    [X],
    [Y],
)

# Create the model (ModelProto)
model_def = helper.make_model(graph_def, producer_name='onnx-example')

print('The model is:\n{}'.format(model_def))
onnx.checker.check_model(model_def)
print('The model is checked!')

3.5 Checking an ONNX Model

import onnx

# Preprocessing: load the ONNX model
model_path = 'path/to/the/model.onnx'
onnx_model = onnx.load(model_path)

print('The model is:\n{}'.format(onnx_model))

# Check the model
onnx.checker.check_model(onnx_model)
print('The model is checked!')

3.6 Optimizing an ONNX Model

import onnx
from onnx import optimizer

# Preprocessing: load the model to be optimized.
model_path = 'path/to/the/model.onnx'
original_model = onnx.load(model_path)

print('The model before optimization:\n{}'.format(original_model))

# A full list of supported optimization passes can be found here:
# https://github.com/onnx/onnx/blob/master/onnx/optimizer.py#L27
passes = ['fuse_consecutive_transposes']

# Apply the optimization on the original model
optimized_model = optimizer.optimize(original_model, passes)

print('The model after optimization:\n{}'.format(optimized_model))

# One can also apply the default passes on the (serialized) model
# Check the default passes here: https://github.com/onnx/onnx/blob/master/onnx/optimizer.py#L41
optimized_model = optimizer.optimize(original_model)

3.7 Running Shape Inference on an ONNX Model

import onnx
from onnx import helper, shape_inference
from onnx import TensorProto

# Preprocessing: create a model with two nodes, Y's shape is unknown
node1 = helper.make_node('Transpose', ['X'], ['Y'], perm=[1, 0, 2])
node2 = helper.make_node('Transpose', ['Y'], ['Z'], perm=[1, 0, 2])

graph = helper.make_graph(
    [node1, node2],
    'two-transposes',
    [helper.make_tensor_value_info('X', TensorProto.FLOAT, (2, 3, 4))],
    [helper.make_tensor_value_info('Z', TensorProto.FLOAT, (2, 3, 4))],
)

original_model = helper.make_model(graph, producer_name='onnx-examples')

# Check the model and print Y's shape information
onnx.checker.check_model(original_model)
print('Before shape inference, the shape info of Y is:\n{}'.format(original_model.graph.value_info))

# Apply shape inference on the model
inferred_model = shape_inference.infer_shapes(original_model)

# Check the model and print Y's shape information
onnx.checker.check_model(inferred_model)
print('After shape inference, the shape info of Y is:\n{}'.format(inferred_model.graph.value_info))

3.8 UtilityFunctions

import onnx
import onnx.utils

model = onnx.load('path/to/the/model.onnx')
polished_model = onnx.utils.polish_model(model)
yhwang-hub
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
在Java中使用可移植的ONNX AI模型
04-08
在本文中，我简要介绍了ONNX运行时和ONNX格式。
使用 java-onnx 部署 yolovx 目标检测
热门推荐
这个人很懒什么都没有~
03-21 1万+
这里使用 --include torchscript onnx 生成 onnx 文件，并指定 --opset 16，后续使用 com.microsoft.onnxruntime Java 库加载依赖时要求 opset 不超过16.流程是加载权重，输入图片，将图片resize到模型输入的shape，预测完了之后解析 25200*85，根据置信度、nms等阈值进行过滤，然后将过滤剩下的框将坐标按照缩放比例转换到原始图像坐标系中，最后标注即可。
java调用onnx模型_ONNX--跨框架的模型中间表达框架
weixin_39580042的博客
12-22 1828
本文介绍一种可以方便在各个主流深度学习框架中迁移模型的中间表达格式框架ONNX，因为在我的毕设中需要将所有的模型model的architecture存储成一种中间表达形式(format)以方便调用。在我的supervisor@Milo的建议下，我学习了被众多主流框架支持的中间表达格式框架ONNX，下面与大家共同分享。1.Motivation:现如今，各大主流深度学习框架都有着自己独有的特点与魅力，...
java调用onnx模型_神经网络模型模型转ONNX
weixin_39850699的博客
12-22 1969
近期由于业务需要，需要将训练好的模型转为ONNX格式，为此颇费了一番功夫，在此总结一下吧。。1、ONNX是一种神经网络模型保存的中间格式，支持多种格式的模型转为ONNX，也支持使用ONNX导入多种格式的模型，具体见https://github.com/onnx/tutorials;目前其实ONNX对于模型的支持还不是太好，主要表现在一些op还不能够支持；2、在PyTorch下要将模型保存成ONNX...
pytorch 安装opencv menpo -c_pytorch模型的部署（系列一）--ncnn的编译和使用
weixin_39625987的博客
11-24 387
因为我一直都是在pytorch上面训练模型，所以部署模型通常采取三种方案：方案一：利用腾讯开源的ncnn库(nihui大神牛皮！！)；但这个适合移动端部署，特别是针对andriod的极致优化。方案二：libtorch（c++版本的pytorch）；pytorch为了弥补部署方面的劣势，，libtorch也在不断推陈出新，以不断打压tf等一众老炮生存空间方案三：NVIDIA出品的tensorRT；这...
ONNX模型相关学习笔记
08-24
ONNX模型相关学习笔记
模型：ONNX格式的经过预训练的最新模型的集合
02-05
ONNX模型动物园 是一种开放标准格式，用于表示机器学习模型。 ONNX得到了许多合作伙伴的支持，这些合作伙伴已经在许多框架和工具中实现了该功能。 ONNX模型动物园是由像您这样的社区成员提供的ONNX格式的经过预训练...
waifu2x-onnx:尝试将预先训练的waifu2x模型转换为ONNX格式
05-27
waifu2x-onnx 尝试将预先训练的waifu2x模型（从 ）转换为ONNX格式。 笔记 在使用cunet模型之前，请先阅读 在使用upresnet10模型之前，请阅读
model-zoo-old:ONNX模型动物园是针对深度学习中的最新模型的预训练模型的集合，可提供ONNX格式
04-28
ONNX Model Zoo是用于深度学习的最新模型的预训练模型的集合，并以ONNX格式提供。 每个模型都有笔记本，用于进行模型训练并根据训练后的模型进行推断。 这些笔记本使用Python编写，并且包含指向训练数据集的链接...
机器学习&深度学习资料笔记&基本算法实现&资源整理.zip
最新发布
03-03
经典分割网络：Unet | DeepLab | 谷歌bodypix（走通了tfjs转onnx转tnn安卓部署的流程，但是实时精度不高） 经典项目： HyperLPR车牌识别 中文OCR1（YOLOv3+CRNN） 中文OCR2（CTPN + DenseNet） RFBNet(ECCV2018...
onnxruntime-1.5.2.jar
12-03
onnx的java包，pom引入后可以试验java调用onnx文件进行cpu模型推理。 具体见https://github.com/microsoft/onnxruntime/blob/master/java/src/test/java/sample/ScoreMNIST.java 和 https://github.com/microsoft/onnxruntime/blob/master/docs/Java_API.md#getting-started
censorface-js:通过ONNX.js使用Java进行人脸检测
05-09
censorface-js ONNX.js用Javascript编写的Censorface。 在这种库中，它是在2020年CVPR所示的状态的最先进的单级的人脸检测算法Retinaface的例子可以按照此纸，其具有标题RetinaFace：单级密集脸定位在荒野。 该模型来自转换为ONNX模型。 例子 对于该应用程序的演示，您可以克隆此存储库以测试面部检测算法，方法是使用Retinaface（以MobileNetV2为骨干）并通过将两个面部界标用作黑盒的锚点来检查面部，以测试面部检测算法。 如何运行此仓库。 您可以按以下类型运行。 yarn install yarn start 结果 这是下面的Censorface的结果。 Citation ========= Deng J, Guo J, Zhou Y, Yu J, Kotsia I, Zafeiriou S. Retinafac
java 目标识别检测 调用 onnx 模型，支持yolov5 yolov7 yolov8
null
08-02 2198
java 傻瓜 式 简单 调用 yolo onnx 模型 支持 yolov5 和 yolov7，包含 预处理 和 后处理
使用 java-onnx 部署 Meta-ai Segment anything 分割一切
这个人很懒什么都没有~
05-16 1214
近日，Meta AI在官网发布了基础模型 Segment Anything Model（SAM）并开源，其本质是用GPT的方式（基于Transform 模型架构）让计算机具备理解了图像里面的一个个“对象”的通用能力。SAM模型建立了一个可以接受文本提示、基于海量数据(603138)训练而获得泛化能力的图像分割大模型。图像分割是计算机视觉中的一项重要任务，有助于识别和确认图像中的不同物体，把它们从背景中分离出来，这在自动驾驶（检测其他汽车、行人和障碍物）、医学成像（提取特定结构或潜在病灶）等应用中特别重要。
使用 java-onnx 部署 yolovx 实例分割
这个人很懒什么都没有~
03-28 776
和目标检测的区别在于，需要将数据1的后32位，乘数据2的32*160*160矩阵来得到目标的 mask 信息。将 output1 的 32*160*160 也就是 float[][][] 转换成二维矩阵 32*25600 的 float[][]，相当于把160*160展平，得到矩阵1，是 32行、25600列，将 output2 的每个检测框的 117 取最后32位，转为一维矩阵 float[]，得到矩阵2，是1行，32列。将矩阵3再转换为二位矩阵 160*160，再进行插值扩展到原始图像大小得到矩阵4。
ONNX格式模型 学习笔记 (onnxRuntime部署)---用java调用yolov8模型来举例
qq_48050838的博客
12-24 3671
ONNX（Open Neural Network Exchange）是一个开源项目，旨在建立一个开放的标准，使深度学习模型。ONNX模型可以用于各种应用场景，例如机器翻译、图像识别、语音识别、自然语言处理等。由于ONNX模型的互操作性，开发人员，例如从PyTorch转换到TensorFlow，或从TensorFlow转换到MXNet等。，例如云端、边缘设备或移动设备等。ONNX还提供了一组工具和库，帮助开发人员。
java调用onnx模型_Qt ncnn Android部署模型记录
weixin_29122543的博客
12-05 945
现在有很多模型部署框架了，综合考虑易用性，性能，支持模型转换的类型，成熟程度，考虑使用ncnn进行模型部署。ncnn开源地址：Tencent/ncnn​github.com这里我使用pytorch训练好的PSENet模型进行部署。正文官方pytorch转ncnn说明文档转换流程如下：pytorch训练->onnx->onnx-simplifier->ncnn1. pytorch训...
采用java语言实现基于深度学习ONNX加速运算通过海康网络摄像头SDK实时高精度人脸检测及识别
weixin_42037607的博客
12-16 326
采用iava语言实现基于深度学习ONNX加速运算通过海康网络摄像头SDK实时高精度人脸检测及识别
Linux下出现permission denied的解决办法：命令行输入su root并输入自己的密码并回车
HelloGuoYing的博客
09-22 4935
目录 一、异常如下： 出现的原因的是：没有权限进行读、写、创建文件、删除文件等操作。 二、解决方法： 2.1命令行中输入 ​2.1.2他会提示你输入新密码，再次输入密码，就输入以前的一样的就行，成功之后，输入 2.2第二种方法： 三、成功标志 一、异常如下： 出现的原因的是：没有权限进行读、写、创建文件、删除文件等操作。 二、解决方法： 2.1命令行中输入 sudo passwd 2.1.2他会提示你输入新密码，再次输入密码，就输入以前的一样的就行，成功之后，输入 su.
尚硅谷雷神springboot3笔记
01-26
尚硅谷雷神springboot3笔记是一本全面系统的springboot3教程，适合有一定java基础的开发人员学习使用。该笔记主要介绍了springboot3的基本概念、框架结构、运行原理以及常用功能和使用方法。内容涵盖了springboot3的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值