ONNX模型解析推理工具onnx-parser使用记录

已于 2022-01-23 12:23:41 修改
阅读量2.1k 收藏 9
点赞数 11
分类专栏： 人工智能 嵌入式系统 算法 文章标签： 神经网络 深度学习 自动驾驶
于 2021-09-21 09:52:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tugouxp/article/details/120398749
版权
嵌入式系统 同时被 3 个专栏收录
355 篇文章 56 订阅
订阅专栏
人工智能
156 篇文章 17 订阅
订阅专栏
算法
104 篇文章 8 订阅
订阅专栏

onnx-parser是国内开发者开发的一个ONNX网络模型解析以及推理工具，当前已经被纳入了RT-Thread的开发包，由于RT-Thread的ENV环境支持，下面分析记录一下它的使用和原理分析。

首先下载代码：

git clone https://github.com/wuhanstudio/onnx-parser

下载Scons工具

Scons是一个开放源码、以Python语言编码的自动化构建工具。可以将SCons看作是经典Make实用程序的改进的、跨平台的替代品.

修改编译错误：

代码下载下来，默认是编译不过的，会出现下面的错误：

解决方式是修改其中的 onnx.pb-c.h实现：

diff --git a/onnx.pb-c.h b/onnx.pb-c.h
index 0fe2a2e..22a76f2 100644
--- a/onnx.pb-c.h
+++ b/onnx.pb-c.h
@@ -4,7 +4,7 @@
 #ifndef PROTOBUF_C_src_2fonnx_2eproto__INCLUDED
 #define PROTOBUF_C_src_2fonnx_2eproto__INCLUDED
 
-#include <protobuf-c.h>
+#include <protobuf-c/protobuf-c.h>
 
 PROTOBUF_C__BEGIN_DECLS

编译：

进入到example目录下：

​caozilong@caozilong-Vostro-3268:~/Workspace/onnx/onnx-parser/example$ scons 
scons: Reading SConscript files ...

scons: warning: Two different environments were specified for target /home/caozilong/Workspace/onnx/onnx-parser/onnx-parser.o,
	but they appear to have the same action: $CC -o $TARGET -c $CFLAGS $CCFLAGS $_CCCOMCOM $SOURCES
File "/home/caozilong/Workspace/onnx/onnx-parser/example/SConstruct", line 18, in <module>

scons: warning: Two different environments were specified for target /home/caozilong/Workspace/onnx/onnx-parser/onnx.pb-c.o,
	but they appear to have the same action: $CC -o $TARGET -c $CFLAGS $CCFLAGS $_CCCOMCOM $SOURCES
File "/home/caozilong/Workspace/onnx/onnx-parser/example/SConstruct", line 18, in <module>

scons: warning: Two different environments were specified for target /home/caozilong/Workspace/onnx/onnx-parser/protobuf-c.o,
	but they appear to have the same action: $CC -o $TARGET -c $CFLAGS $CCFLAGS $_CCCOMCOM $SOURCES
File "/home/caozilong/Workspace/onnx/onnx-parser/example/SConstruct", line 18, in <module>
scons: done reading SConscript files.
scons: Building targets ...
gcc -o backend/add.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend backend/add.c
gcc -o backend/conv2d.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend backend/conv2d.c
gcc -o backend/dense.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend backend/dense.c
gcc -o backend/info.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend backend/info.c
gcc -o backend/matmul.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend backend/matmul.c
gcc -o backend/maxpool.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend backend/maxpool.c
gcc -o backend/model.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend backend/model.c
gcc -o backend/relu.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend backend/relu.c
gcc -o backend/softmax.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend backend/softmax.c
gcc -o backend/transpose.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend backend/transpose.c
gcc -o mnist/mnist.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend mnist/mnist.c
gcc -o mnist/mnist_model.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend mnist/mnist_model.c
gcc -o mnist/mnist_sm.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend mnist/mnist_sm.c
gcc -o /home/caozilong/Workspace/onnx/onnx-parser/onnx-parser.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend /home/caozilong/Workspace/onnx/onnx-parser/onnx-parser.c
gcc -o /home/caozilong/Workspace/onnx/onnx-parser/onnx.pb-c.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend /home/caozilong/Workspace/onnx/onnx-parser/onnx.pb-c.c
gcc -o /home/caozilong/Workspace/onnx/onnx-parser/protobuf-c.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend /home/caozilong/Workspace/onnx/onnx-parser/protobuf-c.c
gcc -o onnx-mnist /home/caozilong/Workspace/onnx/onnx-parser/onnx-parser.o /home/caozilong/Workspace/onnx/onnx-parser/onnx.pb-c.o /home/caozilong/Workspace/onnx/onnx-parser/protobuf-c.o mnist/mnist.o backend/add.o backend/conv2d.o backend/dense.o backend/info.o backend/matmul.o backend/maxpool.o backend/model.o backend/relu.o backend/softmax.o backend/transpose.o -lm
gcc -o onnx-mnist-model /home/caozilong/Workspace/onnx/onnx-parser/onnx-parser.o /home/caozilong/Workspace/onnx/onnx-parser/onnx.pb-c.o /home/caozilong/Workspace/onnx/onnx-parser/protobuf-c.o mnist/mnist_model.o backend/add.o backend/conv2d.o backend/dense.o backend/info.o backend/matmul.o backend/maxpool.o backend/model.o backend/relu.o backend/softmax.o backend/transpose.o -lm
gcc -o onnx-mnist-sm /home/caozilong/Workspace/onnx/onnx-parser/onnx-parser.o /home/caozilong/Workspace/onnx/onnx-parser/onnx.pb-c.o /home/caozilong/Workspace/onnx/onnx-parser/protobuf-c.o mnist/mnist_sm.o backend/add.o backend/conv2d.o backend/dense.o backend/info.o backend/matmul.o backend/maxpool.o backend/model.o backend/relu.o backend/softmax.o backend/transpose.o -lm
gcc -o parse/parse_test.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend parse/parse_test.c
gcc -o onnx-parser /home/caozilong/Workspace/onnx/onnx-parser/onnx-parser.o /home/caozilong/Workspace/onnx/onnx-parser/onnx.pb-c.o /home/caozilong/Workspace/onnx/onnx-parser/protobuf-c.o parse/parse_test.o
gcc -o transpose/transpose_test.o -c -I. -I/home/caozilong/Workspace/onnx/onnx-parser -Ibackend transpose/transpose_test.c
gcc -o onnx-transpose /home/caozilong/Workspace/onnx/onnx-parser/onnx-parser.o /home/caozilong/Workspace/onnx/onnx-parser/onnx.pb-c.o /home/caozilong/Workspace/onnx/onnx-parser/protobuf-c.o transpose/transpose_test.o backend/transpose.o backend/info.o -lm
scons: done building targets.
caozilong@caozilong-Vostro-3268:~/Workspace/onnx/onnx-parser/example$

验证：

./onnx-parser mnist-sm.onnx


./onnx-mnist

./onnx-mnist-sm 

 ./onnx-mnist-model

backend目录中包含了算子的实现

另外一个算子库：

git clone https://github.com/wuhanstudio/onnx-backend

caozilong@caozilong-Vostro-3268:~/Workspace/onnx/onnx-backend$ tree
.
├── examples
│   ├── mnist.c
│   ├── mnist.h
│   ├── mnist_model.c
│   ├── mnist_sm.c
│   └── model
│       ├── mnist-keras.ipynb
│       ├── mnist-lg.onnx
│       └── mnist-sm.onnx
├── README.md
├── SConscript
└── src
    ├── add.c
    ├── conv2d.c
    ├── dense.c
    ├── info.c
    ├── matmul.c
    ├── maxpool.c
    ├── model.c
    ├── onnx.h
    ├── relu.c
    ├── softmax.c
    └── transpose.c

3 directories, 20 files
caozilong@caozilong-Vostro-3268:~/Workspace/onnx/onnx-backend$

网络模型结构：

程序打印出来的网络结构： 

规律，输入图像都进行了归一化

结束！

papaofdoudou
关注
  • 11
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
45、NCNN之ONNX模型解析及其使用（YOLO5）
sxj731533730
01-16 4457
基本思想：提供了几种模型转成ncnn模型，以提供ncnn 调用~ 首先下载ncnn的源码：git clonehttps://gitee.com/Tencent/ncnn.git进行编译 生成各模块的对应转化可执行二进制文件； 需要参考博客： 安装Android的ndk编译器~https://blog.csdn.net/sxj731533730/article/details/106115331 ubuntu@ubuntu:~$ git clonehttps://github.com/Tence...
TensorRT解析onnx模型
计算机视觉算法开发与落地
06-17 3028
TensorRT是tensor Runtime的缩写，表示多维数据的推理，在深度学习中，tensor表示多维数据，即二维以上的数据（一维数据是vector，二维数据为Matrix）。 TensorRT是nvidia公司针对nvidia训练的模型进行针对性的推理优化库，是一个c++库，仅支持推理，不支持训练，其优化主要源自以下几个方面： 1.待优化的模型准备。 目前Tensor只支持onnx,caffe,tensorflow框架下的模型，其中对caffe框架下训的模型支持的最好。在优化onnx模型.
模型部署系列：ONNX模型格式的构建、分析和优化指南
最新发布
2401_85328934的博客
06-15 1679
ONNX（Open Neural Network Exchange，开放式神经网络交换格式）是一种模型文件格式，它在模型训练和模型推理中间提供了中间桥梁，使得上游不同的训练框架都能导出ONNX格式的模型，给到下游不同的推理框架都可以读取ONNX进行部署。onnx模型中间件示意图这种基于ONNX的模型训练，中间件，再到模型推理的方式使得1.ONNX将模型训练和推理解耦，任意上游训练框架和下游推理框架都可以组合搭配，而不需要用同一种框架既进行训练又进行推理2.ONNX是通用。
【onnx】——onnx模型计算图解析
怡宝2号
10-12 2642
整个定义是主要就是这三个部分最外层是ModelProto，记录一些模型信息：ir版本，来自pytorch/tensorflow，… ， 和GraphProto////};GraphProto才是核心，里面主要包含：1.保存const tensor + 预训练的参数。2.保存每个op 输入，输出 tensor 名字。}NodeProto}所以整个计算图的node的输入，来自于node.input，node的输出记录在node.output。
[源码阅读] TensorRT - ONNX parser
Chris_zhangrx的博客
03-07 830
文章目录ONNX parser 相关内容： [源码阅读] TensorRT —— Caffe Parser、Plugin ONNX parser TensorRT 的 onnx parser 是一个独立的开源项目。 onnx-tensorrt：https://github.com/onnx/onnx-tensorrt 这里映射关系还是首先建立起来一个个映射函数，然后通过 op_type 来找到对应的映射函数。 typedef ValueOrStatus<std::vector<TensorOrW
onnx模型解析推理
bleedingfight的博客
03-02 2255
onnx模型推理 模型配置的proto文件 syntax = "proto3"; package inference; message DataConfig { string modelPaths = 1; string testDataPath = 2; string modelName = 3; repeated string filenames = 4; } OpenCV推理 import cv2 import os import numpy as np from google.p
formula-parser:Javascript库解析Excel公式等
05-27
公式解析器 库提供了一个Parser类，用于评估excel和数学公式。安装建议的安装公式分析器的方法是使用以下命令通过 ： $ npm install hot-formula-parser --save Node.js： var FormulaParser = require ( 'hot-...
cron-parser:cron解析器
05-23
cron解析器 具有时区支持的cron表达式解析库。 例子： use chrono::{TimeZone, Utc};use chrono_tz::Europe::Lisbon;use cron_parser::parse;fn main() { if let Ok(next) = parse("*/5 * * * *", &Utc::now()) { ...
apk-parser:适用于Java的APK解析器
05-02
APK解析器库，用于解码二进制XML文件，获取APK元信息。 目录 特征 检索APK元信息，例如标题，图标，程序包名称，版本等。 解析二进制XML文件并将其转换为文本 从DEX文件获取类 获取APK歌手信息 获取APK解析器 从...
cron-parser:用于解析crontab指令的Node.js库
04-27
cron解析器 Node.js库，用于解析和处理crontab指令。 它包括对时区和DST转换的支持。 兼容性节点> = 0.8 打字稿<= 4.2 设置 npm install cron-parser 支持格式 * * * * * * ┬ ┬ ┬ ┬ ┬ ┬ │ │ │ │ │ |...
cron-parser:Cron表达式的Java解析器
05-03
cron解析器 一个将cron表达式转换为人类可读字符串的Java库。 从转换为Java。 原始作者和信誉：Brady Holt（ ）许可证：麻省理工学院 特征 支持所有cron表达式特殊字符，包括* /，-？ LW，＃。 支持5、6（w /秒或...
pytorch训练图像分类模型pth转ONNX并测试
10-29
1. 搭建自己的简单二分类网络，使用pytorch训练和测试； 2. 将pytorch训练的pth模型转换成ONNX，并编码测试； 3. 含训练和测试数据，含训练ok的pth模型和ONNX模型，含完整python和C++实现； 4. 使用方法：首先运行“TrainTestConvertOnnx.py”执行“训练数据读入、模型训练、模型测试、导出onnx”，再运行“TestOnnx.cpp”测试onnx（需要配置OpenCV）；
onnxexplorer:ONNX Explorer，此工具将帮助您深入了解任何 ONNX 模型
05-29
ONNX浏览器 代码正在建设中，完整的功能将很快准备好 onnxexp是一种探索 onnx 模型的简单方法。 您可以非常快速地在 onnx 模型中简单地执行这些功能： usage: onnxexp <command> [<args>] The most commonly used onnxexp commands are: ls ls all model nodes search search and print out certain commands summary print out model summary i.e.: onnxexp model.onnx search -t 'Slice' onnxexp model.onnx search -n '342654' onnxexp model.onnx ls -hl #
【Yolo5V6学习】（4）ONNX 模型分析与使用
|~~~热爱生活、努力学习的小伙汁~~~|
03-07 1071
【Yolo5V6学习】（4）ONNX 模型分析与使用一、ONNX 概述1.1 为什么使用通用 IR二、ONNX 规范 代码中，我们首先是调用 net = readNet(netPath); 来加载model, 问题来了，onnx model 里面的内容是什么呢？ 它又是怎么转换为识别图像的model 呢？ 因为我也在学习，在网上看到一个网友写的很好，转载下， 虽说是转载，但并不是直接复制粘贴别人的文章。 所有内容都是手敲的，复制粘贴根本学习不到任何东西，看一遍就过去了，不公有太深的印象。 原文链接为：《
TensorRT：onnx parser与onnx-graphsurgeon的解析与实践
yitiaoxiaolu的博客
03-01 2161
TensorRT作为一种高性能推理引擎，为我们提供了优化和加速深度学习模型的能力。而在TensorRT中，`ONNX parser`和`onnx-graphsurgeon`则是两个强大的工具，能够帮助我们更好地解析和优化ONNX模型。本博客包含ONNX parser、parser的使用、onnx-graphsurgeon三个章节，重点在介绍onnx-graphsurgeon的使用，列举了大量onnx-graphsurgeon的使用方法示例
onnx文件及其结构、正确导出onnx、onnx读取、onnx创建、onnx修改、onnx解析器
热门推荐
Rolandxxx的博客
11-06 2万+
通过把onnx-ml.proto这个文件交给protoc，protoc是Protobuf提供的编译程序（protoc --help可查看protoc工具的具体用法），把它。
Onnx-tensorrt详解之nvonnxparser库
yly的博客
07-06 8735
Onnx-tensorrt工程提供了所有onnx builtin layer向trtmodel转换的parser代码。 Onnx-tensorrt工程链接： https://github.com/onnx/onnx-tensorrt 一、nvonnxparser库概览 nvonnxparser库的核心代码文件如下： set(IMPORTER_SOURCES NvOnnxParser....
ONNX--整理笔记
weixin_42035282的博客
04-29 552
ONNX（Open Neural Network Exchange）是一个开放的深度学习模型交换格式。目标是让不同的深度学习框架之间能够无缝地交换和使用训练好的模型，从而实现模型的跨平台部署和共享。ONNX提供了一个中立的、可扩展的表示格式，能够描述常见的深度学习模型架构，如卷积神经网络（CNN）、循环神经网络（RNN）和图神经网络（GNN）。使用ONNX，用户可以在不同的深度学习框架（如PyTorch、TensorFlow、Caffe等）之间进行模型转换和迁移，无需重新训练模型。
onnx模型删除多余节点并能导出tensorrt
06-06
可以使用 ONNX Runtime 的 API 来删除 ONNX 模型中的多余节点，并将其导出为 TensorRT 引擎。以下是一些步骤： 1. 加载 ONNX 模型 首先，使用 ONNX Runtime 的 Python API 加载 ONNX 模型。可以使用以下代码： ```python import onnx import onnxruntime as ort # Load the ONNX model onnx_model = onnx.load("model.onnx") ``` 2. 删除多余节点 使用 ONNX Runtime 的 API，可以轻松删除 ONNX 模型中的多余节点。可以使用以下代码： ```python # Create a new ONNX model without the unnecessary nodes inputs = ["input_0"] outputs = ["output_0"] new_model = ort.quantization.quantize_dynamic(onnx_model, inputs=inputs, outputs=outputs) ``` 在这个例子中，我们使用 ONNX Runtime 的 `quantize_dynamic` API 来删除模型中的多余节点。我们还指定了输入和输出节点的名称。 3. 导出 TensorRT 引擎 使用 TensorRT 的 ONNX Parser，可以将 ONNX 模型解析为 TensorRT 的网络表示形式。可以使用以下代码将新的 ONNX 模型导出为 TensorRT 引擎： ```python import tensorrt as trt # Create a TensorRT builder builder = trt.Builder(TRT_LOGGER) # Create a TensorRT network from the ONNX model network = builder.create_network() parser = trt.OnnxParser(network, TRT_LOGGER) parser.parse_from_string(new_model.SerializeToString()) # Build an engine from the TensorRT network engine = builder.build_cuda_engine(network) ``` 在这个例子中，我们使用 TensorRT 的 Python API 创建一个 TensorRT builder 和一个 TensorRT network。然后，使用 TensorRT 的 ONNX Parser 将新的 ONNX 模型解析为 TensorRT 的网络表示形式，并将其添加到 TensorRT network 中。最后，使用 TensorRT builder 构建一个 TensorRT 引擎。 注意，这个例子中使用的是 `parse_from_string` 方法来解析 ONNX 模型。这是因为我们已经使用 ONNX Runtime 对模型进行了修改。如果您没有修改模型，则可以使用 `parse` 方法来解析原始 ONNX 模型。 4. 运行 TensorRT 引擎 构建完 TensorRT 引擎后，可以使用与前面例子中相同的代码来运行 TensorRT 推理。 ```python import pycuda.driver as cuda import pycuda.autoinit import numpy as np # Load the engine with open("engine.plan", "rb") as f: engine_data = f.read() engine = runtime.deserialize_cuda_engine(engine_data) # Allocate input and output buffers on the GPU input_bindings = [] output_bindings = [] stream = cuda.Stream() for binding in engine: size = trt.volume(engine.get_binding_shape(binding)) * engine.max_batch_size dtype = trt.nptype(engine.get_binding_dtype(binding)) if engine.binding_is_input(binding): input_bindings.append(cuda.mem_alloc(size * dtype.itemsize)) else: output_bindings.append(cuda.mem_alloc(size * dtype.itemsize)) # Load input data to the GPU input buffer input_data = np.random.randn(batch_size, input_size) cuda.memcpy_htod(input_bindings[0], input_data.flatten().astype(np.float32)) # Run inference context = engine.create_execution_context() context.execute_async_v2(bindings=input_bindings + output_bindings, stream_handle=stream.handle) cuda.streams.synchronize() # Get the output data from the GPU output buffer output_data = np.empty((batch_size, output_size), dtype=np.float32) cuda.memcpy_dtoh(output_data.flatten(), output_bindings[0]) ``` 在这个过程中，首先使用 TensorRT 的 Python API 加载 TensorRT 引擎。然后，使用 PyCUDA 分配输入和输出缓冲区，并将输入数据从主机（CPU）传输到设备（GPU）。接下来，使用 TensorRT 的 Python API 创建一个 TensorRT 执行上下文，并在 GPU 上异步执行 TensorRT 推理。最后，使用 PyCUDA 将输出数据从设备（GPU）传输到主机（CPU）。 这就是如何使用 ONNX Runtime API 删除 ONNX 模型中的多余节点，并将其导出为 TensorRT 引擎。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

papaofdoudou

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值