onnx模型 获取中间节点数据

最新推荐文章于 2024-03-27 15:40:42 发布
最新推荐文章于 2024-03-27 15:40:42 发布
阅读量1k 收藏 1
点赞数
分类专栏： 深度学习 文章标签： python numpy 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xefei/article/details/126489861
版权

import onnx
import onnxruntime

model = onnx.load('simplenet.onnx')

#整个模型node添加到输出
#for node in model.graph.node:
#  for output in node.output:
#    model.graph.output.extend([onnx.ValueInfoProto(name=output)])

#指定node添加到输出

model.graph.output.extend([onnx.ValueInfoProto(name='288')])
sess = onnxruntime.InferenceSession(model.SerializeToString())

input_name = sess.get_inputs()[0].name


output_name = sess.get_outputs()[0].name
output1_name = sess.get_outputs()[1].name

#构造输入数据并推理

 outputs = sess.run([output1_name], {input_name: input_data})

xefei
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
onnx网络中指定层的结果/中间层结果获取
学习带来的快乐最持久~
02-28 1364
【代码】onnx网络中指定层的结果/中间层结果获取。
jQuery插件zTree实现获取一级节点数据的方法
10-20
主要介绍了jQuery插件zTree实现获取一级节点数据的方法,结合实例形式分析了jQuery插件zTree针对节点的遍历与获取操作相关技巧,需要的朋友可以参考下
ONNX系列: ONNX模型结构解析
最新发布
csdnsqst0050的博客
03-27 1417
ONNX 全称为 Open Neural Network Exchange, 是微软提出并推广的一种机器学习模型的开放格式表示，定义了一组通用的算子集、一系列用于构建深度学习模型的模块以及一种通用的文件格式，使得人工智能开发人员能够将模型与各种框架、工具、运行时和编译器一起使用。AI模型部署工程师可以针对 ONNX 这一中间格式来针对不同的硬件平台进行运行时设计和优化，从而实现AI模型设计和模型部署的解耦。本文将重点解析ONNX 模型结构，并演示了如何使用Python脚本定位到ONNX模型各个层面的元素。
onnx-su_onnx模型修改_onnx_
09-30
这是一个onnx模型编辑工具，可以在onnx模型中添加、修改和删除node节点，也可以用于onnx模型的调试、查看权重。使用python语言实现。
php获取json数据所有的节点路径
10-24
主要介绍了php获取json数据所有的节点路径的方法和实例，有需要的小伙伴可以参考下。
zookepper的数据模型与节点类型
01-20
zookepper的数据模型，在结构上和标准文件系统非常类似，拥有一个层次的命名空间，都是采用树形层次结构。 zookepper树中的每个节点被称为一个znode，和文件系统的目录树一样， zookepper树中每个节点可以拥有子节点 1.znode 兼具文件和目录两种特点。 2.znode 存数据大小有限制。 3.znode通过路径引用。 4. 每个znode 由3部分组成， sata： 此为状态信息，描述该znode的版本，权限等信息。 data：与该znode关联的数据
[C++][onnxruntime]攻克onnxruntime之获取输入输出节点名称数量和shape
FL1623863129的博客
06-21 1997
如何使用onnxruntime获取onnx模型的输入和输出相关信息呢，这里以yolov8s.onnx为例子，首先我们用netron打开看节点信息。
onnx解析每一个节点的具体数据
weixin_45045906的博客
03-17 201
参考
python 调用onnxruntime 实现单输入多输出
Ceri的博客
12-22 4428
做模型部署的时候需要将模型转换为onnx，转换好之后需要将图像传入验证对比原来的pth看输出参数是否一致。我的模型输出有三部分，直接贴出代码了，注释那部分可以实现指定输出部分。 import onnxruntime as ort ort_session = ort.InferenceSession('./RetinaFace.onnx') #加载模型并且初始化 input_name = ort_session.get_inputs()[0].name # outputs_1 = ort...
onnx文件及其结构、正确导出onnx、onnx读取、onnx创建、onnx修改、onnx解析器
热门推荐
Rolandxxx的博客
11-06 1万+
通过把onnx-ml.proto这个文件交给protoc，protoc是Protobuf提供的编译程序（protoc --help可查看protoc工具的具体用法），把它。
onnx模型推理及获得各层输出结果
dddeee的专栏
11-30 3749
onnx指定gpu或cpu来进行推理，并获得各节点输出
onnx手动操作构造节点并转为tensorrt的数据
06-26
onnx手动操作构造节点并转为tensorrt的数据
pytorch argmax_从Pytorch 的ONNX到OpenVINO中IR中间层
weixin_39580124的博客
11-27 781
点击上方蓝字关注我们微信公众号：OpenCV学堂关注获取更多计算机视觉与深度学习知识Pytorch ONNX格式支持ONNX是一种深度学习权重模型的表示格式，ONNX格式可以让AI开发者在不同框架之间相互转换模型，实现调用上的通用性。当前PyTorch*, Caffe2*, Apache MXNet*, Microsoft Cognitive Toolkit* 、百度飞桨都支持ONNX格...
ONNXRuntime Conv算子实现解析
jiangjkd的专栏
04-26 463
【代码】ONNXRuntime。
onnx模型的修改与调试demo
weixin_39107270的博客
06-05 1162
使用netron 可视化模型。
onnx模型裁剪一部分
qq_17127427的博客
08-30 1863
https://github.com/onnx/onnx/blob/main/docs/PythonAPIOverview.md
Python onnx 模型打印显示所有节点及查看相互关系
tanmx219的博客
10-22 4405
最近使用onnx时，想把所有的节点的信息和权重参数显示出来，找了一下没找到类似的源码，官方介绍的pythonAPI都是些什么加载，保存，转换之类的，没有详细介绍怎么使用onnx分析模型的，只好自己写一个。 其实很简单，我只列些最基本的，具体分析还得看个人的需要， import onnx model_in_file = 'yolov5s-sim.onnx' if __name__ == "__main__": model = onnx.load(model_in_file) nod
onnx 转换、加载、保存、推理、获取每层输出参数
小鹏AI
11-10 2085
onnx 转换、加载、保存、推理、参数获取
onnx优化系列 - 获取onnx每层输出及shape
Artyze的博客
04-29 1万+
如何获取onnx每层输出及shape 问题描述 onnx作为中间转换标准键，我们需要确保模型转换前后的精度完全一致，否则就失去了模型转换的最基本要求。但是在以下两种情况下，我们通常会遇到一点问题： 我们需要获取模型特定节点的输出 我们需要获取每一层的output shape，而由onnx标准api： onnx.shape_inference得到的shape信息错误 解决方法 我们知道获取onnx输出的官方工具即是onnxruntime，通常我们会采用如下的方法获取output： model =
onnx模型删除多余节点并能导出tensorrt
06-06
可以使用 ONNX Runtime 的 API 来删除 ONNX 模型中的多余节点，并将其导出为 TensorRT 引擎。以下是一些步骤： 1. 加载 ONNX 模型 首先，使用 ONNX Runtime 的 Python API 加载 ONNX 模型。可以使用以下代码： ```python import onnx import onnxruntime as ort # Load the ONNX model onnx_model = onnx.load("model.onnx") ``` 2. 删除多余节点 使用 ONNX Runtime 的 API，可以轻松删除 ONNX 模型中的多余节点。可以使用以下代码： ```python # Create a new ONNX model without the unnecessary nodes inputs = ["input_0"] outputs = ["output_0"] new_model = ort.quantization.quantize_dynamic(onnx_model, inputs=inputs, outputs=outputs) ``` 在这个例子中，我们使用 ONNX Runtime 的 `quantize_dynamic` API 来删除模型中的多余节点。我们还指定了输入和输出节点的名称。 3. 导出 TensorRT 引擎 使用 TensorRT 的 ONNX Parser，可以将 ONNX 模型解析为 TensorRT 的网络表示形式。可以使用以下代码将新的 ONNX 模型导出为 TensorRT 引擎： ```python import tensorrt as trt # Create a TensorRT builder builder = trt.Builder(TRT_LOGGER) # Create a TensorRT network from the ONNX model network = builder.create_network() parser = trt.OnnxParser(network, TRT_LOGGER) parser.parse_from_string(new_model.SerializeToString()) # Build an engine from the TensorRT network engine = builder.build_cuda_engine(network) ``` 在这个例子中，我们使用 TensorRT 的 Python API 创建一个 TensorRT builder 和一个 TensorRT network。然后，使用 TensorRT 的 ONNX Parser 将新的 ONNX 模型解析为 TensorRT 的网络表示形式，并将其添加到 TensorRT network 中。最后，使用 TensorRT builder 构建一个 TensorRT 引擎。 注意，这个例子中使用的是 `parse_from_string` 方法来解析 ONNX 模型。这是因为我们已经使用 ONNX Runtime 对模型进行了修改。如果您没有修改模型，则可以使用 `parse` 方法来解析原始 ONNX 模型。 4. 运行 TensorRT 引擎 构建完 TensorRT 引擎后，可以使用与前面例子中相同的代码来运行 TensorRT 推理。 ```python import pycuda.driver as cuda import pycuda.autoinit import numpy as np # Load the engine with open("engine.plan", "rb") as f: engine_data = f.read() engine = runtime.deserialize_cuda_engine(engine_data) # Allocate input and output buffers on the GPU input_bindings = [] output_bindings = [] stream = cuda.Stream() for binding in engine: size = trt.volume(engine.get_binding_shape(binding)) * engine.max_batch_size dtype = trt.nptype(engine.get_binding_dtype(binding)) if engine.binding_is_input(binding): input_bindings.append(cuda.mem_alloc(size * dtype.itemsize)) else: output_bindings.append(cuda.mem_alloc(size * dtype.itemsize)) # Load input data to the GPU input buffer input_data = np.random.randn(batch_size, input_size) cuda.memcpy_htod(input_bindings[0], input_data.flatten().astype(np.float32)) # Run inference context = engine.create_execution_context() context.execute_async_v2(bindings=input_bindings + output_bindings, stream_handle=stream.handle) cuda.streams.synchronize() # Get the output data from the GPU output buffer output_data = np.empty((batch_size, output_size), dtype=np.float32) cuda.memcpy_dtoh(output_data.flatten(), output_bindings[0]) ``` 在这个过程中，首先使用 TensorRT 的 Python API 加载 TensorRT 引擎。然后，使用 PyCUDA 分配输入和输出缓冲区，并将输入数据从主机（CPU）传输到设备（GPU）。接下来，使用 TensorRT 的 Python API 创建一个 TensorRT 执行上下文，并在 GPU 上异步执行 TensorRT 推理。最后，使用 PyCUDA 将输出数据从设备（GPU）传输到主机（CPU）。 这就是如何使用 ONNX Runtime API 删除 ONNX 模型中的多余节点，并将其导出为 TensorRT 引擎。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值