TVM笔记-pass

最新推荐文章于 2022-10-19 09:42:23 发布
最新推荐文章于 2022-10-19 09:42:23 发布
阅读量458 收藏 1
点赞数
分类专栏： TVM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33287871/article/details/115253542
版权
本文介绍了TVM中的Relay IR Pass，包括强拆Relay IR Pass、函数调用关系图、IPO过程、Pass的数据结构以及分类。重点讨论了high-level pass在`include/tvm/relay/transforms.h`、`src/relay/pass`和`python/tvm/relay/transform.py`中的实现，并提供了显式和隐式使用Pass的方法。
摘要由CSDN通过智能技术生成

1. 强拆Relay ir Pass

fold_const = relay.transform.FoldConstant() # 返回类型pass
mod = fold_const(mod) # 执行pass

2. 函数调用关系图

在这里插入图片描述

3. IPO

  1. input: IRModule
  2. process： pass优化
  3. output： IRModule

4. pass data structure

对于通用数据结构的定义均在目录tvm/ir中，执行pass 是一个module到module的映射
pass = PassInfo + passContext + PassConstructs

5、pass分类

high-level pass:
header file: include/tvm/relay/transforms.h
src files: src/rela

了解本专栏 订阅专栏 解锁全文 超级会员免费看
yhwang-hub
关注
专栏目录
订阅专栏
TVM | 一种用于深度学习的端到端自动优化编译器
极智视界
10-26 701
大家好，我是极智视界，本文解读一下 一种用于深度学习的端到端自动优化编译器 TVM。
TVM Pass概述
Eurypterid的博客
02-28 1052
use pass infra Design and Architecture Pass又称transform，每一个transform要么把现有程序转换并优化为一个等价的程序，要么把程序lower到下层。relay/transform包括很多优化模型用的pass，包括常量折叠（constant folding）和死代码删除（dead-code elimination）等。 这里拿tests/python/relay/test_pass_fold_constant.py里的单测作为例子： import num
TVM Relay与Pass
吴建明wujianming_110117
09-09 501
TVM Relay与Pass 本文介绍TVM的Relay，如何基于Relay构建一个Conv+BN+ReLU的小网络， TVM中的Pass的工作机制，并较为详细的介绍了RemoveUnusedFunctions，ToBasicBlockNormalForm，EliminateCommonSubexpr三种Pass。其中Relay部分的详细介绍大部分引用自官方文档： https://tvm.apache.org/docs/tutorials/get_started/introduction.html。 TVM
【从零开始学深度学习编译器】七，万字长文入门TVM Pass
I good vegetable a!
06-08 1372
0x0. 前言 这篇文章基于TVM 0.8.0.dev版本。在【从零开始学深度学习编译器】五，TVM Relay以及Pass简介 这篇推文中已经简单介绍了Relay和Pass机制。但是那篇文章介绍得不是很细节，对Relay的抽象语法树结构以及Pass的代码实现都没有细读，因此这篇文章以Constant Folding为例来详细介绍TVM Relay Pass。 0x1. TVM Relay树结构 在介绍Pass之前需要理清一些关键概念。 AST 摘自wiki 在计算机科学中，抽象语法树（Abstract
TVM Pass 总结
fwx_x的博客
07-14 2782
介绍 tvm.relay.transform
如何使用TVM Pass Relay
吴建明wujianming_110117
03-14 381
如何使用TVM Pass红外线 随着Relay / tir中优化遍数的增加，执行并手动维护其依赖关系变得很棘手。引入了一个基础结构来管理优化过程，将其应用于TVM堆栈中IR的不同层。 Relay / tir程序的优化可以以各种粒度应用，分别使用tvm.relay.transform.FunctionPass/ tvm.tir.transform.PrimFuncPass和的功能级别和模块级别tvm.transform.ModulePass 。用户可以依靠在tvm.transform.Sequential r
自定义pass编写
吴建明wujianming_110117
03-26 451
自定义pass编写 TVM是一个框架，抽象了机器学习加速器的异质性。有时，用户可能需要自定义一些分析和IR转换，使TVM适应自己的专用硬件。本文可帮助用户在TVM中编写自定义pass。 先决条件 在阅读本文之前，假设读者已经熟悉以下主题： • 在TVM中编写算法并进行调度。否则，请参见示例教程，例如 如何在CPU上优化GEMM。 • HalideIR的基本结构。否则，请参阅HalideIR/src/ir/IR.h以了解定义了IR节点的哪些属性。 • 访客设计模式。否则，请检查 Python AST模块以查看
TVM量化小结手册
吴建明wujianming_110117
05-23 438
TVM量化小结手册 文章目录 • Offical References o TVM quantization roadmap  INT8 quantization proposal  Quantization Story - 2019-09  Quantization Development o Quantization Framework supported by TVM  TF Quantization Related  Pytorch Quantization Related  MXNet
TVM编译Tensorflow模型
qq_33287871的博客
04-23 492
编译Tensorflow模型 本文是使用TVM部署Tensorflow模型的入门教程。 首先，需要安装tensorflow python模块。 请参考https://www.tensorflow.org/install # tvm,relay import tvm from tvm import relay from tvm import te #os and numpy import numpy as np import os.path # Tensorflow imports import tens
tvm relay inline pass的调研
weixin_42432844的博客
02-23 1063
tvm relay inline pass的调研 relay的流程；pass功能；cpu上跑通单元测例 tests/python/relay/test_pass_inline.py, 明确pass原理； 能否使用inline针对一个网络生成一个call func ，这种方式能很好支持当前bangc优化和代码生成 Relay Build ----------- Compile the graph to llvm target with given input specification. target = “
【从零开始学深度学习编译器】五，TVM Relay以及Pass简介
I good vegetable a!
05-24 1258
0x0. 介绍 在前面几节的介绍中我们了解到了TVM是如何将ONNX前端模型转换为IR Module的，并且还剖析了TVM中的Relay算子和TOPI算子的扭转过程，注意Relay算子的最终计算也是基于TOPI算子集合完成的。然后我们在基于ONNX模型结构了解TVM的前端那篇文章的示例程序中还有一个很重要的细节没有介绍，即下面这几行代码： ###################################################################### # Relay Build
TVM Relay Pass探究
最新发布
LF_AI的博客
10-19 618
引言Relay 是 TVM 中十分重要的基础组件之一，用于对接不同格式的深度学习模型以及进行模型的 transform。深度学习编译器的核心功能就是进行各种各样的 transform 变换，这个变换过程部分是由 Pass 来实现。当需要遍历计算图时，底层究竟是如何执行的？本文打算一探究竟。1. 简介Pass 两层设计：TIR 层，基于target的优化，主要涉及 lower 到 target...
【从零开始学深度学习编译器】八，TVM的算符融合以及如何使用TVM Pass Infra自定义Pass
I good vegetable a!
06-14 1664
0x00. 前言 上篇文章系统的介绍了TVM Pass Infra，并解析了Relay树结构以及Constant Folding Pass的具体做法。这一节，我想先补充一下TVM Pass Infra的用法，然后再解析一下TVM中的一个非常重要的Pass即算符融合。 0x01. 如何使用TVM Pass Infra 关于TVM Pass Infra的介绍可以移步【从零开始学深度学习编译器】七，万字长文入门TVM Pass查看。 ...
【TVM帮助文档学习】Relay的类型系统
zx_ros的博客
04-06 603
本文翻译自Relay’s Type System — tvm 0.9.dev0 documentation 在介绍Relay表达式细节时，我们简单的涉及了Relay的类型，但是还没有详细描述整个类型系统。Relay是一种静态类型和类型推断语言，它在允许程序完全类型化的同时，只需要少量的显式的类型说明。 静态类型在执行编译器优化时非常有用，因为它们可以传递程序所处理的数据的属性，例如运行时形状、数据布局和存储，而无需运行程序。Relay的代数数据类型允许轻松、灵活地组合类型，以便构建可以归纳推理和用于编写递
TVM学习（八）pass总结
qq_33287871的博客
04-11 1382
什么是pass？ Pass是TVM中基于relay IR进行的优化，目的是去除冗余算子，进行硬件友好的算子转换，最终能够提高硬件运行效率。由tensorflow等深度学习框架生成的图机构中，含有很多可以优化的算子，比如expand_dim，len等，其实在编译阶段完全可以优化掉，从而能够减少硬件的计算，以及避免出现硬件不支持的算子。 TVM中在include/tvm/ir/transform.h中对pass进行了抽象，主要包括PassContext，PassInfo，Pass，以及Sequential。其中
TVM Compiler中文教程：TVM.Relay使用外部库
Mars_WH的专栏
06-03 3630
文章目录TVM.Relay中使用外部库创建一个简单的网络使用cuda后端构建和运行卷积层使用cuDNN实现验证结果结论 TVM.Relay中使用外部库 这篇教程介绍怎么在Relay中使用cuDNN、cuBlas这样的外部库。 Relay在内部使用TVM生成特定目标的代码。例如，使用cuda作为后端，TVM为用户提供的网络生成所有层的cuda kernel代码。但是有时，将设备厂商提供的外部库合并到...
深度学习编译中间件之NNVM(四)TVM设计理念与开发者指南
sanallen的专栏
02-28 9686
参考文档 http://docs.tvmlang.org/dev/index.html TVM Design and Developer Guide 本文档为官方指导手册的中文翻译版本，主要涉及到TVM的设计理念和开发者指南，适用于计划深入掌握TVM深度定制开发技术的开发者。 TVM运行时系统 TVM支持多种编程语言下的编译器堆栈开发和部署，针对本文档我们主要会介绍TVM运行时的关...
TVM安装踩坑笔记
justsolow的博客
07-15 2567
TVM安装踩坑笔记 由于是在公司服务器安装的TVM，所以有各种网络的限制问题，不能从服务器端直接下载包文件，得先下载到windows上面然后再上传到服务器端。但是，TVM和LLVM的包文件服务器在国外的缘故，所以下载的很慢。。。。花了我一天时间才搞好，太惭愧了。。。。 想要安装TVM（这个是不区分C还是python的，安装好以后都可以用的），首先必须安装TVM的编译器LLVM和clang。 下载链接 进去以后选择自己需要的版本，这里也不是越高越好啊，我安装的7.0.1没出什么版本问题，你们可以自己尝试一下
TVm0.8.0-1.5.7中文版API文档深度解读
首先，tvm-0.8.0-1.5.7.jar包，这是TVM在0.8.0到1.5.7版本的jar包，包含了TVM的所有类和方法，是使用TVM进行深度学习任务的基本工具包。通过jar包，开发者可以引用TVM的各种功能，进行模型部署、转换和优化等操作。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yhwang-hub

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值