ONNX模型tensor shapes inference和Flops统计工具

最新推荐文章于 2024-05-27 09:57:38 发布
最新推荐文章于 2024-05-27 09:57:38 发布
阅读量7.3k 收藏 10
点赞数 7
文章标签： 深度学习 python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luoyu510183/article/details/125561700
版权
本文介绍了如何使用onnx-tool进行ONNX模型的形状推理，特别是在处理动态输入和自定义操作时的优势。该工具能够解决onnx.shape_inference的不足，提供完整的张量形状信息，并能统计模型的MACs和参数量。对于包含动态输入和未注册操作的模型，onnx-tool提供了灵活的解决方案，如通过输入映射处理动态shape和注册自定义OP进行推理。
摘要由CSDN通过智能技术生成

基本应用

onnx提供的shape_inference的结果经常不完整, 比如这个ssd-12.onnx(models/ssd-12.onnx at main · onnx/models · GitHub):

如果网络中的tensor shape没有推理完全, 那么也没法进行运算量的统计.

刚开源的onnx-tool很好的解决了很多onnx.shape_inference失败的例子. 地址如下:

onnx-tool · PyPI  

在ssd这个onnx模型上, onnx-tool可以推理出完整的tensor shapes:

除此之外, 还能够统计出模型每个算子的MACs(浮点乘加数, 和Flops的关系一般是1 MACs=2 Flops)和Params(参数量).

最低0.47元/天 解锁文章
Mr_L_Y
关注
  • 7
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
开放神经网络交换（ONNX）工具
吴建明wujianming_110117
12-05 682
开放神经网络交换（ONNX）工具 开放神经网络交换（ONNX）是一个开放的生态系统，它使人工智能开发人员能够在项目发展过程中选择正确的工具。ONNX为人工智能模型提供了一种开源格式，包括深度学习和传统ML，它定义了一个可扩展的计算图模型，以及内置运算符和标准数据类型的定义。目前我们关注的是推断（评分）所需的能力。 ONNX受到广泛支持，可以在许多框架、工具和硬件中找到。实现不同框架之间的互操作性和简化从研究到生产的路径有助于提高人工智能社区的创新速度。 参考链接：https://github.com/onn
pytorch 将onnx模型转换为trt TensorRT模型
03-20
适用于TensorRT8.0版本及以上 使用步骤 1、chmod 添加文件执行权限 2、将onnx路径修改为自己的onnx模型路径 3、运行py问价
【ONNX】---Shape Inference
All_In_gzx_cc的博客
03-16 2678
ONNX提供了ONNX图上shape推理的可选实现，该实现包含每一个核心操作符，且为扩展提供了接口。因此，既可以使用已有shape推理函数到你的图中，也可以自定义shape推理实现来与你的操作符保持一致，或者同时使用以上两种方法；shape推理函数是OpSchema中的一个成员。 引用shape推理 可通过c++或者python引用shape推理，其中python API为： 可运行的python脚本为：链接 C++ API为一个函数： 其中，参数ModelProto是进行shape推理的文件，该文件使
深度学习——Pytorch模型统计FLOPs，MACs和Params评估参数
qq_40280673的博客
04-29 2836
FLOPs（Floating point operations per second）是指每秒浮点运算次数，MACs （Multiply-Accumulate Operations）是指乘加操作的次数，Params（Parameters）是指模型的参数数量。这三个指标可以用来衡量模型的复杂度，即模型计算量的大小。
在Pytorch中计算自己模型的FLOPs方式
09-18
今天小编就为大家分享一篇在Pytorch中计算自己模型的FLOPs方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
探索简单ONNX处理工具：优化模型操作的利器！
gitblog_00020的博客
05-27 342
探索简单ONNX处理工具：优化模型操作的利器！ 项目地址:https://gitcode.com/PINTO0309/simple-onnx-processing-tools 在深度学习和人工智能领域，ONNX（Open Neural Network Exchange）已成为模型交换和推理的标准之一。然而，有时我们需要对ONNX模型进行微调或优化以适应特定场景。这就是simple-onnx-pro...
onnxruntime-inference-examples:使用ONNX Runtime进行机器学习推理的示例
04-10
项目 此回购已使用初始模板填充，以帮助您入门。 请确保更新内容，以为社区建设创造良好的体验。 作为该项目的维护者，请进行一些更新： 改进此README.MD文件可提供出色的体验 使用有关该项目的支持经验的内容更新SUPPORT.MD 了解SECURITY.MD中的安全报告过程 从自述文件中删除此部分 贡献 该项目欢迎您的贡献和建议。 大多数捐款要求您同意一份《捐款者许可协议》（CLA），声明您有权并实际上授予我们使用您的捐款的权利。 有关详细信息，请访问 。 当您提交拉取请求时，CLA机器人会自动确定您是否需要提供CLA并适当地装饰PR（例如，状态检查，评论）。 只需按照机器人提供的说明进行操作即可。 您只需使用我们的CLA在所有存储库中执行一次此操作即可。 该项目采用了。 有关更多信息，请参见或与联系，并提出其他任何问题或意见。 商标 该项目可能包含项目，产品或服务的商标或徽标
MACs (乘加运算次数)和 FLOPs (浮点运算次数)关系，onnx函数计算方式
qq_40962125的博客
11-01 1274
2. 如果乘法和加法都计1 FLOPs,那么 MACs = FLOPs综上,MACs 和 FLOPs 的关系具体取决于计算方式,但更标准的做法是:MACs 和 FLOPs 是一个量级,它们的数值相等或近似相等。1. 如果乘法计2 FLOPs,加法计1 FLOPs,那么 MACs = 2 * FLOPs。之所以网上有人说它们是二倍关系,可能是采用了乘法计2 FLOPs的计算方式。所以,MACs 和 FLOPs 可以看作相等,都是反映模型计算量的指标。但这并不是一个标准的计算方法。
onnx优化系列 - 获取中间Node的inference shape的方法
Artyze的博客
07-17 9059
ONNX获取中间Node的inference shape的方法需求描述原理代码 需求描述 很多时候发现通过tensorflow或者pytorch转过来的模型是没有中间的node的shape的，比如下面这样： 但是碰到一些很奇怪的算子的时候，我们又想知道他对上一层feature map的形状影响是怎样的，于是下面的模型看起来会更友好一些 这里之所以看上去和原来的node的分布都不一样，是因为我在这里将pad和biasadd加到conv中了已经。 原理 ONNX本身提供了进行inference的api： s
onnx
怨行客
05-26 314
1、keras—onnx 方法就是： import keras2onnx keras2onnx.convert_keras # convert to onnx model onnx_model = keras2onnx.convert_keras(model, model.name) temp_model_file = 'model.onnx' keras2onnx.save_model(onnx_model, temp_model_file) sess = onnxruntime.InferenceS
onnxmltools：ONNXMLTools支持将模型转换为ONNX
02-04
Linux 视窗 介绍 ONNXMLTools使您能够将模型从不同的机器学习工具包转换为 。 当前支持以下工具包： （ 的包装） Tensorflow（ 的包装） scikit-learn（ 的包装） 苹果酷睿ML Spark ML（实验性） LightGBM 的libsvm XGBoost 水 猫助推器 Pytorch具有内置的ONNX导出器，请查看详细信息 安装 您可以从安装最新版本的 ： pip install onnxmltools 或从源安装： pip install git+https://github.com/microsoft/onnxconverte
PyPI 官网下载 | onnxruntime_tools-1.3.0.1007.tar.gz
02-10
资源来自pypi官网。 资源全名：onnxruntime_tools-1.3.0.1007.tar.gz
tfjs_shape_inference:使用TensorFlow.js的形状分类器
05-16
使用TensorFlow的形状分类器。 使用TensorFlow.js的简单形状分类器Web应用 这是使用TensorFlow.js对形状（圆形，三角形，正方形）进行分类的Web应用程序的示例源。 请注意，这是一个非常简单的实现，因为我想直观地检查它的实际工作方式。 快速访问（打开Web服务器） npm install npm start 连接到 简要描述;简介 插入一行代码，将模型另存为json文件，如下所示，以便可以在TensorFlow.js中使用通过使用Keras学习形状（圆形，三角形，正方形）图像而创建的模型（有关更多信息，请参见此处） tfjs . converters . save_keras_model ( model , tfjs_target_dir ) 删除了定义神经网络模型的model.json文件，并删除了包含权重信息的文件。 创建一个可以推断的简单
fbbev转bin过程中的onnx模型
最新发布
06-21
在给定的标题和描述中，“fbbev转bin过程中的onnx模型”指的是将Facebook的Bird's Eye View (BEV) 模型的ONNX格式转换为二进制（bin）文件的过程。这种转换可能在部署模型到特定硬件或平台时非常有用，因为某些环境...
在Java中使用可移植的ONNX AI模型
04-08
在Java中使用可移植的ONNX（Open Neural Network Exchange）AI模型是一项技术，它允许开发者在不同的框架和平台上部署预训练的深度学习模型。ONNX是一种开放标准，旨在促进人工智能模型之间的互操作性，使数据科学家...
TFClassify-Unity-Barracuda：将Tensorflow和ONNX模型与Unity Barracuda推理引擎一起用于图像分类和对象检测的示例
02-06
什么这是在Unity应用程序中使用经过TensorFlow或ONNX训练的模型进行图像分类和对象检测的示例。 它使用-请注意，梭子鱼仍处于开发预览阶段，并且经常更改。 在我的更多详细信息。 分类结果： 检测结果： 如果您正在...
C++ OnnxRuntime部署yolov8模型
07-20
如果你的压缩包中包含`yolov8n-seg.onnx`，这可能是YOLOv8的分割模型，用于同时进行目标检测和语义分割。部署过程与YOLOv8类似，只是输出的解析和后处理步骤会有所不同，可能需要解码多个输出张量，分别对应目标检测...
ONNX前向inference调试
热门推荐
SilentOB的博客
01-13 1万+
ONNX作为一个方便在各大主流深度学习框架中迁移转换的中间表达式，在工业界使用越加频繁。关于ONNXgithub上有部分相关文档参考链接https://github.com/onnx/onnx，对相关接口的详细说明尚且不够。本文针对onnx的前向过程说明下常见的调试操作。 一、自建网络 ONNX提供onnx.helper接口，方便搭建节点以及网络，具体demo如下： import onnx...
计算onnx模型的计算量
07-27
计算onnx模型的计算量可以使用pytorch-opcounter工具。在进行模型运算量统计时，可以使用pytorch-opcounter来计算onnx模型的计算量。\[1\]具体使用方法如下： ```python import torch from pytorch_opcounter import measure_model model = torch.onnx.load('model.onnx') flops = measure_model(model) print(f"FLOPs: {flops}") ``` 这段代码会加载onnx模型并使用pytorch-opcounter工具来计算模型的计算量。最后打印出的flops即为模型的计算量。 #### 引用[.reference_title] - *1* [ONNX模型tensor shapes inference和Flops统计工具](https://blog.csdn.net/luoyu510183/article/details/125561700)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [ONNX：C++通过onnxruntime使用.onnx模型进行前向计算【下载的onnxruntime是编译好的库文件，可直接使用】](https://blog.csdn.net/u013250861/article/details/127829944)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值