[Onnx简化库深度剖析] OnnxSimplifier和OnnxOptimizer解读-(3)

于 2024-01-12 16:00:28 发布
阅读量1.1k 收藏 17
点赞数 19
分类专栏： Learn 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Pengcode/article/details/135555311
版权

[Onnx简化库深度剖析] OnnxSimplifier和OnnxOptimizer解读-(3)

简介

补充剩下的所有Pass的特性

具体的Pass实现和细节罗列（补充

PassPassNamePassTypePassEfficiencyPassOptimizationType描述
EliminateNopMonotoneArgmaxeliminate_nop_monotone_argmaxNopPartialCompute消除掉那些正相关的激活函数到argmax函数上，减少计算
EliminateNopPadeliminate_nop_padNopCompleteCompute消除pads=0的Pad算子
EliminateNopConcateliminate_nop_concatNopCompleteMemory消除输入个数为1的Concat算子
EliminateNopSpliteliminate_nop_splitNopCompleteMemory消除输出个数为1、input_dim[axis]=split[0]的Split算子
EliminateNopExpandeliminate_nop_expandNopCompleteCompute消除expand_dim可以广播到input_dim的Expand算子
EliminateShapeGathereliminate_shape_gatherFuseCompleteCompute融合掉indices=[indices_val,]、前面的节点是Shape的Gather算子
EliminateSliceAfterShapeeliminate_slice_after_shapeFuseCompleteCompute融合掉前面的节点是Shape的Slice算子
EliminateNopTransposeeliminate_nop_transposeNopCompleteCompute消除掉不起作用的transpose算子
FuseAddBiasIntoConvfuse_add_bias_into_convFuseCompleteCompute融合掉前面的节点是Conv2d、且input[1]是常量可配合dim的Add算子
FuseBNIntoConvfuse_bn_into_convFuseCompleteCompute融合BN算子到Conv2d上，同时修改Conv2d的权重
FuseConsecutiveConcatsfuse_consecutive_concatsFusePartialCompute融合前面的axis相同的Concat到该Concat节点上
FuseConsecutiveLogSoftmaxfuse_consecutive_log_softmaxFuseCompleteCompute融合softmax+log成为LogSoftmax算子
FuseConsecutiveReduceUnsqueezefuse_consecutive_reduce_unsqueezeFuseCompleteCompute当前面的Reduce算子的axes=Unsqueeze_axes、keepdims=0时，融合Unsqueeze算子到Reduce算子上
FuseConsecutiveSqueezesfuse_consecutive_squeezesFuseCompleteCompute合并多个连续的Squeeze算子成为一个Squeeze算子
FuseConsecutiveTransposesfuse_consecutive_transposesFuseCompleteCompute合并多个连续的Transpose算子成为一个Transpose算子
FuseMatMulAddBiasIntoGemmfuse_matmul_add_bias_into_gemmFuseCompleteCompute合并MatMul+Add成为一个Gemm算子
FusePadIntoConvfuse_pad_into_convFuseCompleteCompute合并Pad+Conv成为一个Conv算子,Pad操作合并到了Conv上
FusePadIntoPoolfuse_pad_into_poolFuseCompleteCompute合并Pad+AveragePool/MaxPool成为一个Pool算子
FuseTransposeIntoGemmfuse_transpose_into_gemmFuseCompleteCompute融合前面的Transpose操作反转Gemm的transA/transB参数，从而融合掉transpose算子
ReplaceEinsumWithMatmulreplace_einsum_with_matmulReplaceCompleteCompute满足条件的einsum变成matmul操作："bhij,bhjd->bhid"变成matmul; "bhid,bhjd->bhij"变成transpose+matmul操作
LiftLexicalReferenceslift_lexical_referencesSeparateCompleteMemory待说明
SplitInitsplit_initSeparateCompleteMemory待说明
SplitPredictsplit_predictSeparateCompleteMemory待说明
FuseConcatIntoReshapefuse_concat_into_reshapeFuseCompleteCompute融合reshape的shape输入的concat/cast算子，变成constant shape输入
EliminateNopReshapeeliminate_nop_reshapeNopCompleteCompute消除掉reshape dim == input_dim的reshape算子
EliminateOpWithUniteliminate_nop_with_unitNopCompleteCompute消除掉同0并的And、同1乘的Mul、同0或的Or、同0加的Add、减0的Sub、除1的Div、方1的Pow、 无效的Concat
EliminateCommonSubexpressioneliminate_common_subexpressionNopCompleteCompute消除掉那些属性/输入一致的节点，也就是公共子表达式
FuseQKVfuse_qkvFuseCompleteCompute合并qkv计算的三个matmul为只有一个matmul: A = matmul(X, Q), B = matmul(X, K), C = matmul(X, V) ==> A,B,C = split(matmul(X, concat(Q,K,V)))
FuseConsecutiveUnsqueezesfuse_consecutive_unsqueezesFuseCompleteCompute融合连续的Unsqueezes算子
EliminateDeadEndeliminate_deadendNopCompleteCompute移除掉output没有连接到其他节点的node
EliminateIdentityeliminate_identityNopCompleteCompute移除掉Identity node
EliminateShapeOpeliminate_shape_opFuseCompleteCompute融合掉可以直接获取input_shape的Shape算子
FuseConsecutiveSlicesfuse_consecutive_slicesFuseCompleteMemory融合掉axes没有交集的连续的slice算子，合并为一个Slice
EliminateUnusedInitializereliminate_unused_initializerNopCompleteMemory移除掉不被使用的initializer
EliminateDuplicateInitializereliminate_duplicate_initializerNopCompleteMemory移除掉重复的initializer
AdjustSliceAndMatmuladjust_slice_and_matmulReplaceCompleteCompute调整slice和matmul之间的顺序，以便优化：Y = Matmul(Slice(data, start, end, axes) ,rhs) ==> Y = Slice(Matmul(data, rhs), start, end, axes)
RewriteInputDtyperewrite_input_dtypeOtherCompleteNone重写input的类型从int64变成int32，从A=node1(INT64_INPUT) ==> A=node1(Cast(INT32_INPUT, INT64))

…

总结

基本上目前所有的Pass已经被罗列出来了，后续会用实际的效果去加深大家的印象
慷仔
关注
  • 19
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ONNX Simplifier: 简化深度学习模型，加速推理与部署
gitblog_00041的博客
03-22 1370
ONNX Simplifier: 简化深度学习模型，加速推理与部署 项目地址:https://gitcode.com/daquexian/onnx-simplifier ONNX Simplifier 是一个开源工具，用于优化和简化ONNX（开放神经网络交换）模型，它能够帮助开发者更有效地管理和部署深度学习模型。通过去除冗余操作和优化模型结构，ONNX Simplifier 可以让模型在推理阶段更...
onnx-simplifier-onnx简化代码
03-24
把要简化的onnx模型放入onnxsim文件夹里，直接运行sim文件。改一下要简化的模型名和简化后的模型名就可以了。
onnx-simplifier:简化您的Onnx模型
04-29
ONNX简化器 ONNX很棒，但有时太复杂了。 背景 有一天，我想将以下简单的重塑操作导出到ONNX： import torch class JustReshape ( torch . nn . Module ): def __init__ ( self ): super ( JustReshape , self ). __init__ () def forward ( self , x ): return x . view (( x . shape [ 0 ], x . shape [ 1 ], x . shape [ 3 ], x . shape [ 2 ])) net = JustReshape () model_name = 'just_reshape.onnx' dummy_input = torch . randn ( 2 ,
利用onnxsim对onnx模型进行简化
hjxu2016的博客
10-11 3991
百度大多推的是对固定维度的模型进行简化这里记录一下，如何对动态batch的模型进行简化模型简化的作用不再复述。
onnx-simplifier原理探究
FfarFat的博客
10-11 2953
onnx-simpilfier原理探究
ONNX笔记
lyyiangang的博客
03-15 2642
ONNX文件格式介绍
onnxruntime-win-x64-1.14.1
05-05
总结来说，ONNX Runtime 1.14.1 是一个适用于 Windows 64 位系统的深度学习推理库，它提供了 C++ 接口，并支持 CPU 和 GPU 加速。开发者可以利用这个库快速部署和执行 ONNX 格式的模型，同时享受高性能和跨框架的...
onnxruntime-win-x64-gpu-1.14.0
06-09
这通常表示压缩包内包含了ONNX Runtime的二进制文件、库、头文件和可能的示例代码或文档，使得用户能够在Windows 64位系统上安装和使用GPU加速的ONNX Runtime 1.14.0版本。 在实际应用中，使用ONNX Runtime进行模型...
Python库 | onnxoptimizer-0.2.4-cp38-cp38-win_amd64.whl
03-22
**Python库onnxoptimizer介绍** `onnxoptimizer`是一个...总结来说，`onnxoptimizer`是深度学习和机器学习开发者在ONNX生态中的重要工具，它提供了一种有效的方法来提升模型的运行效率，促进了模型的高效部署和优化。
用PyTorch导出ONNX，以及onnxsimplify的使用 - 学习记录
点云算法工程师
10-22 588
学习记录
onnx2pytorch和onnx-simplifer新版介绍
I good vegetable a!
03-03 4865
【GiantPandaCV导语】本文是ONNX2Pytorch思路分享以及onnx-simplifier新版简要介绍。ONNX2Pytorch工具已经测试了onnx model zoo中的大量分类模型并转换正确，欢迎使用，github地址：https://github.com/BBuf/onnx2nn。GiantPandaCV几个月前遭受恶意举报，今天终于解除封印了。感谢众多粉丝们的长期等待和支持，我们会在此继续分享学习经验。 0x0. 背景 ONNX作为微软的神经网络模型的开放格式被各个框架广泛应用，包括
onnx模型图优化/模型修改
热门推荐
LuchangLi 的专栏
09-15 1万+
onnx模型修改、添加Node 如何修改已有的ONNX模型 - 知乎 ONNX内部节点修改方法_麦克斯韦恶魔的博客-CSDN博客 onnx模型如何增加或者去除里面node，即修改图方法_The space of Shining-CSDN博客
ONNX的模型优化与量化细节
sunny0660的博客
09-21 4879
layout: post title: ONNX的模型优化与量化细节 date: 2021-09-21 18:18:48.000000000 +09:00 categories: [算法框架] tags: [离线推理] ONNX的模型优化与量化细节 ONNX基本介绍 什么是ONNX？ ONNX全称为 Open Neural Network Exchange，是一种与框架无关的模型表达式。ONNX的规范及代码主要由微软，亚马逊 ，Facebook 和 IBM 等公司共同开发，以开放源代码的方式托管在G.
ONNX笔记一
qq_33287871的博客
04-10 704
0x1. 什么是ONNX？ 简单描述一下官方介绍，开放神经网络交换（Open Neural Network Exchange）简称ONNX是微软和Facebook提出用来表示深度学习模型的开放格式。所谓开放就是ONNX定义了一组和环境、平台均无关的标准格式，来增强各种AI模型的可交互性。 换句话说，无论你使用何种训练框架训练模型（比如TensorFlow/Pytorch/OneFlow/Paddle），在训练完毕后你都可以将这些框架的模型统一转换为ONNX这种统一的格式进行存储。注意ONNX文件不仅仅存储了
ModuleNotFoundError: No module named ‘onnx.optimizer‘解决办法
weixin_45172555的博客
04-07 2009
ModuleNotFoundError: No module named 'onnx.optimizer' 解决办法
[Onnx简化库深度剖析] OnnxSimplifier和OnnxOptimizer解读-(2)
最新发布
Pengcode的博客
12-18 302
上述的Pass只是其中的一小部分，还有将近二十来个Pass没有说明清楚，因此这个留到后续的文章继续说明。
卷积层和归一化层融合以及ONNX的使用
qq26983255的博客
06-11 5223
之前就已经提到过，在神经网络种涉及到归一化的操作中就要特别小心。一方面是训练和推理阶段要有明确的标识来进行区分。否则，就会导致训练和推理的结果相差很大。另一方面就是归一化的方法很多，大致可分为： ...
PPQ.IR中的内容（来自PPQ官网）
KKWY0909的博客
06-29 156
PPQ在Onnx IR的基础上构建了自己的计算图结构。在这里，一个计算图的定义由图（BaseGraph），算子（Operation）和变量（Variable）三者组成。PPQ的计算图对象不仅保存了网络的信息结构与参数信息，同时也保存了图上的量化信息与量化参数，所有的量化过程都是围绕着这样的底层数据结构展开的。
optimized_model_str = C.optimize(model_str, passes) IndexError: _Map_base::at
teslali
01-08 1243
问题场景 pytorch->onnx->caffe2出现的问题 在onnx->caffe2时会出现 Traceback (most recent call last): File "/usr/local/bin/convert-onnx-to-caffe2", line 8, in <module> sys.exit(onnx_to_caffe2()) ...
在哪安装ONNX和pytorch-to-onnx：
06-02
ONNX和pytorch-to-onnx可以通过pip命令安装，只需要在命令行中输入以下命令即可： ``` pip install onnx pip install onnxruntime pip install git+https://github.com/onnx/pytorch-onnx.git ``` 这些命令将会在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值