[Onnx简化库深度剖析] OnnxSimplifier和OnnxOptimizer解读-(3)

最新推荐文章于 2024-03-25 06:01:57 发布
最新推荐文章于 2024-03-25 06:01:57 发布
阅读量1.2k 收藏 17
点赞数 19
分类专栏： Learn 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Pengcode/article/details/135555311
版权

[Onnx简化库深度剖析] OnnxSimplifier和OnnxOptimizer解读-(3)

简介

补充剩下的所有Pass的特性

具体的Pass实现和细节罗列（补充

PassPassNamePassTypePassEfficiencyPassOptimizationType描述
EliminateNopMonotoneArgmaxeliminate_nop_monotone_argmaxNopPartialCompute消除掉那些正相关的激活函数到argmax函数上，减少计算
EliminateNopPadeliminate_nop_padNopCompleteCompute消除pads=0的Pad算子
EliminateNopConcateliminate_nop_concatNopCompleteMemory消除输入个数为1的Concat算子
EliminateNopSpliteliminate_nop_splitNopCompleteMemory消除输出个数为1、input_dim[axis]=split[0]的Split算子
EliminateNopExpandeliminate_nop_expandNopCompleteCompute消除expand_dim可以广播到input_dim的Expand算子
EliminateShapeGathereliminate_shape_gatherFuseCompleteCompute融合掉indices=[indices_val,]、前面的节点是Shape的Gather算子
EliminateSliceAfterShapeeliminate_slice_after_shapeFuseCompleteCompute融合掉前面的节点是Shape的Slice算子
EliminateNopTransposeeliminate_nop_transposeNopCompleteCompute消除掉不起作用的transpose算子
FuseAddBiasIntoConvfuse_add_bias_into_convFuseCompleteCompute融合掉前面的节点是Conv2d、且input[1]是常量可配合dim的Add算子
FuseBNIntoConvfuse_bn_into_convFuseCompleteCompute融合BN算子到Conv2d上，同时修改Conv2d的权重
FuseConsecutiveConcatsfuse_consecutive_concatsFusePartialCompute融合前面的axis相同的Concat到该Concat节点上
FuseConsecutiveLogSoftmaxfuse_consecutive_log_softmaxFuseCompleteCompute融合softmax+log成为LogSoftmax算子
FuseConsecutiveReduceUnsqueezefuse_consecutive_reduce_unsqueezeFuseCompleteCompute当前面的Reduce算子的axes=Unsqueeze_axes、keepdims=0时，融合Unsqueeze算子到Reduce算子上
FuseConsecutiveSqueezesfuse_consecutive_squeezesFuseCompleteCompute合并多个连续的Squeeze算子成为一个Squeeze算子
FuseConsecutiveTransposesfuse_consecutive_transposesFuseCompleteCompute合并多个连续的Transpose算子成为一个Transpose算子
FuseMatMulAddBiasIntoGemmfuse_matmul_add_bias_into_gemmFuseCompleteCompute合并MatMul+Add成为一个Gemm算子
FusePadIntoConvfuse_pad_into_convFuseCompleteCompute合并Pad+Conv成为一个Conv算子,Pad操作合并到了Conv上
FusePadIntoPoolfuse_pad_into_poolFuseCompleteCompute合并Pad+AveragePool/MaxPool成为一个Pool算子
FuseTransposeIntoGemmfuse_transpose_into_gemmFuseCompleteCompute融合前面的Transpose操作反转Gemm的transA/transB参数，从而融合掉transpose算子
ReplaceEinsumWithMatmulreplace_einsum_with_matmulReplaceCompleteCompute满足条件的einsum变成matmul操作："bhij,bhjd->bhid"变成matmul; "bhid,bhjd->bhij"变成transpose+matmul操作
LiftLexicalReferenceslift_lexical_referencesSeparateCompleteMemory待说明
SplitInitsplit_initSeparateCompleteMemory待说明
SplitPredictsplit_predictSeparateCompleteMemory待说明
FuseConcatIntoReshapefuse_concat_into_reshapeFuseCompleteCompute融合reshape的shape输入的concat/cast算子，变成constant shape输入
EliminateNopReshapeeliminate_nop_reshapeNopCompleteCompute消除掉reshape dim == input_dim的reshape算子
EliminateOpWithUniteliminate_nop_with_unitNopCompleteCompute消除掉同0并的And、同1乘的Mul、同0或的Or、同0加的Add、减0的Sub、除1的Div、方1的Pow、 无效的Concat
EliminateCommonSubexpressioneliminate_common_subexpressionNopCompleteCompute消除掉那些属性/输入一致的节点，也就是公共子表达式
FuseQKVfuse_qkvFuseCompleteCompute合并qkv计算的三个matmul为只有一个matmul: A = matmul(X, Q), B = matmul(X, K), C = matmul(X, V) ==> A,B,C = split(matmul(X, concat(Q,K,V)))
FuseConsecutiveUnsqueezesfuse_consecutive_unsqueezesFuseCompleteCompute融合连续的Unsqueezes算子
EliminateDeadEndeliminate_deadendNopCompleteCompute移除掉output没有连接到其他节点的node
EliminateIdentityeliminate_identityNopCompleteCompute移除掉Identity node
EliminateShapeOpeliminate_shape_opFuseCompleteCompute融合掉可以直接获取input_shape的Shape算子
FuseConsecutiveSlicesfuse_consecutive_slicesFuseCompleteMemory融合掉axes没有交集的连续的slice算子，合并为一个Slice
EliminateUnusedInitializereliminate_unused_initializerNopCompleteMemory移除掉不被使用的initializer
EliminateDuplicateInitializereliminate_duplicate_initializerNopCompleteMemory移除掉重复的initializer
AdjustSliceAndMatmuladjust_slice_and_matmulReplaceCompleteCompute调整slice和matmul之间的顺序，以便优化：Y = Matmul(Slice(data, start, end, axes) ,rhs) ==> Y = Slice(Matmul(data, rhs), start, end, axes)
RewriteInputDtyperewrite_input_dtypeOtherCompleteNone重写input的类型从int64变成int32，从A=node1(INT64_INPUT) ==> A=node1(Cast(INT32_INPUT, INT64))

…

总结

基本上目前所有的Pass已经被罗列出来了，后续会用实际的效果去加深大家的印象
慷仔
关注
  • 19
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
转换onnx_ONNX简化节点和修改教程
weixin_32642653的博客
01-11 3931
在训练完深度学习的pytorch或者tensorflow模型后，有时候需要把模型转成 onnx，但是很多时候，很多节点比如cast节点，Identity 这些节点可能都不需要，我们需要进行简化，这样会方便我们把模型转成ncnn或者mnn等这些端侧部署的模型格式或者通过tensorRT进行部署。方法1：使用 onnx-simplifier 进行精简一个方法是使用 [onnx-simplif...
ONNX-模型简化-模型结构查看
BelievIamthebest的博客
09-26 2843
ONNX-模型简化-模型结构查看
onnx-simplifier-onnx简化代码
03-24
把要简化的onnx模型放入onnxsim文件夹里，直接运行sim文件。改一下要简化的模型名和简化后的模型名就可以了。
ONNX Simplifier: 简化深度学习模型，加速推理与部署
gitblog_00041的博客
03-22 1557
ONNX Simplifier: 简化深度学习模型，加速推理与部署 项目地址:https://gitcode.com/daquexian/onnx-simplifier ONNX Simplifier 是一个开源工具，用于优化和简化ONNX（开放神经网络交换）模型，它能够帮助开发者更有效地管理和部署深度学习模型。通过去除冗余操作和优化模型结构，ONNX Simplifier 可以让模型在推理阶段更...
onnx-simplifier:简化您的Onnx模型
04-29
ONNX简化器 ONNX很棒，但有时太复杂了。 背景 有一天，我想将以下简单的重塑操作导出到ONNX： import torch class JustReshape ( torch . nn . Module ): def __init__ ( self ): super ( JustReshape , self ). __init__ () def forward ( self , x ): return x . view (( x . shape [ 0 ], x . shape [ 1 ], x . shape [ 3 ], x . shape [ 2 ])) net = JustReshape () model_name = 'just_reshape.onnx' dummy_input = torch . randn ( 2 ,
onnx-simplifier原理探究
FfarFat的博客
10-11 2981
onnx-simpilfier原理探究
利用onnxsim对onnx模型进行简化
hjxu2016的博客
10-11 4167
百度大多推的是对固定维度的模型进行简化这里记录一下，如何对动态batch的模型进行简化模型简化的作用不再复述。
onnxruntime-win-x64-1.14.1
05-05
总结来说，ONNX Runtime 1.14.1 是一个适用于 Windows 64 位系统的深度学习推理库，它提供了 C++ 接口，并支持 CPU 和 GPU 加速。开发者可以利用这个库快速部署和执行 ONNX 格式的模型，同时享受高性能和跨框架的...
Python库 | onnxoptimizer-0.2.4-cp38-cp38-win_amd64.whl
03-22
**Python库onnxoptimizer介绍** `onnxoptimizer`是一个...总结来说，`onnxoptimizer`是深度学习和机器学习开发者在ONNX生态中的重要工具，它提供了一种有效的方法来提升模型的运行效率，促进了模型的高效部署和优化。
onnxruntime-win-x64-gpu-1.14.0
06-09
这通常表示压缩包内包含了ONNX Runtime的二进制文件、库、头文件和可能的示例代码或文档，使得用户能够在Windows 64位系统上安装和使用GPU加速的ONNX Runtime 1.14.0版本。 在实际应用中，使用ONNX Runtime进行模型...
onnx simplifier过程
sduati的专栏
02-08 803
onnx simplifier过程
用PyTorch导出ONNX，以及onnxsimplify的使用 - 学习记录
点云算法工程师
10-22 661
学习记录
onnx | onnx-simplifier安装和使用
最新发布
Ddddddd_158的博客
03-25 912
onnx | onnx-simplifier安装和使用
[Onnx简化库深度剖析] OnnxSimplifier和OnnxOptimizer解读-(1)
Pengcode的博客
12-18 790
这次主要是介绍了OnnxSimplifier简化原理，重点介绍了FoldConstant功能和FixedPointFn迭代优化函数，这是该简化包的核心部分了。但是对于其他的OptimizeFixed，也就是OnnxOptimizer函数库的内部简化细节却没有具体的说明。后续将会具体介绍OnnxOptimizer的模型优化细节。
[Onnx简化库深度剖析] OnnxSimplifier和OnnxOptimizer解读-(4)
Pengcode的博客
01-12 1634
结束了，已经搞定了onnx官方的简化库的基本细节了。后面再续其他有趣的东东。
ONNX笔记
lyyiangang的博客
03-15 2662
ONNX文件格式介绍
C++实现推理, 基于Onnx-simplifier、onnx-tensorrt、TensorRT和Cuda编程
人生得意须尽欢
12-01 3804
在启动kernel的时候，要通过指定gridsize和blocksize才行，举下面的例子说说： dim3 gridsize(2,2); dim3 blocksize(4,4); gridsize相当于是一个2*2的block，gridDim.x，gridDim.y，gridDim.z相当于这个dim3的x，y，z方向的维度，这里是2*2*1。序号从0到3，且是从上到下的顺序，就是说是下面的情况: grid中的blockidx序号标注情况为：
如何对ONNX模型进行裁剪,以YOLOV5为例
Hi20240217的博客
02-20 679
本文演示了,如何修改ONNX模型。以yolov5为例,讲解如何去掉进box decoding部分,直接输出3个特征图。
onnx2pytorch和onnx-simplifer新版介绍
I good vegetable a!
03-03 4889
【GiantPandaCV导语】本文是ONNX2Pytorch思路分享以及onnx-simplifier新版简要介绍。ONNX2Pytorch工具已经测试了onnx model zoo中的大量分类模型并转换正确，欢迎使用，github地址：https://github.com/BBuf/onnx2nn。GiantPandaCV几个月前遭受恶意举报，今天终于解除封印了。感谢众多粉丝们的长期等待和支持，我们会在此继续分享学习经验。 0x0. 背景 ONNX作为微软的神经网络模型的开放格式被各个框架广泛应用，包括
在哪安装ONNX和pytorch-to-onnx：
06-02
ONNX和pytorch-to-onnx可以通过pip命令安装，只需要在命令行中输入以下命令即可： ``` pip install onnx pip install onnxruntime pip install git+https://github.com/onnx/pytorch-onnx.git ``` 这些命令将会在您的Python环境中安装ONNX、ONNX运行时、pytorch-to-onnx等工具。如果您在使用Anaconda等Python发行版，可以使用conda命令来安装这些工具，具体命令如下： ``` conda install -c conda-forge onnx conda install -c conda-forge onnxruntime pip install git+https://github.com/onnx/pytorch-onnx.git ``` 这些命令将会在您的Anaconda环境中安装ONNX、ONNX运行时、pytorch-to-onnx等工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值