TVM Pass概述

已于 2022-03-07 21:05:27 修改
阅读量1k 收藏 1
点赞数 1
分类专栏： tvm 文章标签： python 开发语言 后端
于 2022-02-28 18:19:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Eurypterid/article/details/123073596
版权

是什么

Pass又称transform，每一个transform要么把现有程序转换并优化为一个等价的程序，要么把程序lower到下层。
Pass和Schedule的区别在于，前者包括一些Schedule Primitives（调度原语），其用于生成IR，而后者是提供了修改IR的方法。

TVM中的Pass有两种：

  • Relay层的Pass。relay/transforms/包括很多优化图结构用的Pass，包括fusion（图融合），常量折叠（constant folding）和死代码删除（dead-code elimination）等。属于前端优化。
  • TIR层的Pass。tir/transforms包括偏向编译器方面的优化，比如prefetch注入，unrollLoop等。属于后端优化。

实现上，Pass分为：

  • Module-Level Pass
    • 利用全局信息进行优化
    • 可以删减Function，如DSE Pass
    • 核心Pass函数是PackedFunc类型
  • Function-Level Pass
    • 对Module中的每个Function进行优化，只有局部信息
    • 不允许删减Function

Pass的转化逻辑可以简化为：IRModule -> Pass -> … -> IRModule

这里拿tests/python/relay/test_pass_fold_constant.py里的单测作为例子：


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  yuanfz1998
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
tvm实现layergroup

				
			

			

				

					10-18
				

			

		

		

			
				
tvm实现layergroup

			
		

	



                

            
              



	

		

			

				
					
【从零开始学深度学习编译器】七，万字长文入门TVM Pass

				
			

			

				

					I good vegetable a!
				

				

					06-08
					
					1408
					
				

			

		

		

			
				
0x0. 前言
这篇文章基于TVM 0.8.0.dev版本。在【从零开始学深度学习编译器】五，TVM Relay以及Pass简介 这篇推文中已经简单介绍了Relay和Pass机制。但是那篇文章介绍得不是很细节，对Relay的抽象语法树结构以及Pass的代码实现都没有细读，因此这篇文章以Constant Folding为例来详细介绍TVM Relay Pass。
0x1. TVM Relay树结构
在介绍Pass之前需要理清一些关键概念。
AST

摘自wiki
在计算机科学中，抽象语法树（Abstract 

			
		

	



              


  
              

                


	

		

			

				
					
TVM Pass 总结

				
			

			

				

					fwx_x的博客
				

				

					07-14
					
					2822
					
				

			

		

		

			
				
介绍 tvm.relay.transform

			
		

	





	

		

			

				
					
TVM Relay与Pass

				
			

			

				

					吴建明wujianming_110117
				

				

					09-09
					
					517
					
				

			

		

		

			
				
TVM Relay与Pass
本文介绍TVM的Relay，如何基于Relay构建一个Conv+BN+ReLU的小网络， TVM中的Pass的工作机制，并较为详细的介绍了RemoveUnusedFunctions，ToBasicBlockNormalForm，EliminateCommonSubexpr三种Pass。其中Relay部分的详细介绍大部分引用自官方文档：
https://tvm.apache.org/docs/tutorials/get_started/introduction.html。
TVM

			
		

	



		

			
		



	

		

			

				
					
初探TVM--通过TVM的python接口编译优化resnet50

				
			

			

				

					shaojie_wang的博客
				

				

					12-16
					
					2568
					
				

			

		

		

			
				
通过TVM的python接口编译优化resnet50

			
		

	





	

		

			

				
					
自定义pass编写

				
			

			

				

					吴建明wujianming_110117
				

				

					03-26
					
					461
					
				

			

		

		

			
				
自定义pass编写
TVM是一个框架，抽象了机器学习加速器的异质性。有时，用户可能需要自定义一些分析和IR转换，使TVM适应自己的专用硬件。本文可帮助用户在TVM中编写自定义pass。
先决条件
在阅读本文之前，假设读者已经熟悉以下主题：
•	在TVM中编写算法并进行调度。否则，请参见示例教程，例如 如何在CPU上优化GEMM。
•	HalideIR的基本结构。否则，请参阅HalideIR/src/ir/IR.h以了解定义了IR节点的哪些属性。
•	访客设计模式。否则，请检查 Python AST模块以查看

			
		

	





	

		

			

				
					
TVM jvmpkg 编译完成包

				
			

			

				

					04-14
				

			

		

		

			
				
版本是V8.0以后的版本，源码于2022年4月中旬下载并编译通过，包含tvm中整个完整jvm的内容以及全部生成内容，方便因为编译环境备受折磨的小伙伴直接下载使用。其中包括jvm/core/target 下编译android端需要的jar包库...

			
		

	





	

		

			

				
					
 tvm_3rdparty

				
			

			

				

					07-05
				

			

		

		

			
				
《TVM中的3rdparty模块详解》  在深度学习领域，TVM是一个高效且高度优化的开源跨平台运行时系统，用于部署机器学习模型。它以其灵活的编译器架构和广泛的硬件支持而受到赞誉。在TVM的源码结构中，`3rdparty`目录...

			
		

	





	

		

			

				
					
tvm.tar  TVM源码压缩包

				
			

			

				

					09-24
				

			

		

		

			
				
TVM完整源码，自己下载，若网速不好，可能会有部分链接缺失，导致编译出错，血泪教训我知道！！！！

			
		

	





	

		

			

				
					
tvm.rar_tvm_轨道TVM全拼

				
			

			

				

					09-19
				

			

		

		

			
				
标题中的“tvm.rar_tvm_轨道TVM全拼”暗示了我们正在讨论的是轨道交通行业的自动售票机（Ticket Vending Machine，简称TVM）的技术细节，特别是与单片机控制输入输出相关的控制逻辑。在轨道交通系统中，TVM是乘客...

			
		

	





	

		

			

				
					
TVM TIR Pass - CSE (Common Subexpression Elimination) 优化原理和代码解析 PR#9482

				
			

			

				

					Eurypterid的博客
				

				

					02-24
					
					1184
					
				

			

		

		

			
				
预备知识

TIR Let Binding

Let (var, value, body) 将value求值赋给var，然后返回body的求值结果。let将表达式 Expr 绑定到局部作用域的不可变 var 中。


scope：作用域/代码块。 TVM AST将作用域组建为树形结构。外侧作用域包含内侧作用域的关系被表示为父节点和子节点。父节点的变量对子节点可见但反之不然。判断变量是否在某个作用域内是CSE算法的一个重要的部分。

是什么
TIR代码来源于relay和其他Pass。生成TIR代码的过程是自动

			
		

	





	

		

			

				
					
TVM，Relay，Pass

				
			

			

				

					吴建明wujianming_110117
				

				

					09-17
					
					446
					
				

			

		

		

			
				
TVM，Relay，Pass
Relay介绍
主要结合TVM的文档(https://tvm.apache.org/docs/dev/relay_intro.html)，介绍一下NNVM的第二代Relay。Relay的设计目标有以下几点：
支持传统的数据流(DataFlow)风格编程。支持functional-style scoping，并融合了编程语言领域的一些知识，带了一些新的特性（支持Let表达式，支持递归等等）支持数据流风格和函数式风格混合编程。
使用Relay建立一个计算图
传统的深度学习框架使用计

			
		

	





	

		

			

				
					
TVM实战

				
			

			

				

					antkillerfarm的专栏
				

				

					12-27
					
					2042
					
				

			

		

		

			
				
TVM实战
问题的由来
最近客户反馈我们的backend导入Pytorch模型会出错，而TFLite模型是OK的。
打印模型的IR后，我们发现：
这是Pytorch模型的IR片段：
  %0 = qnn.quantize(%input, 0.0186579f, 114, out_dtype="uint8", axis=1);
  %1 = nn.pad(%0, 114f, pad_width=[[0, 0], [0, 0], [1, 1], [1, 1]]);
  %2 = qnn.quantize(%fe

			
		

	





	

		

			

				
					
【从零开始学深度学习编译器】八，TVM的算符融合以及如何使用TVM Pass Infra自定义Pass

				
			

			

				

					I good vegetable a!
				

				

					06-14
					
					1703
					
				

			

		

		

			
				
0x00. 前言
上篇文章系统的介绍了TVM Pass Infra，并解析了Relay树结构以及Constant Folding Pass的具体做法。这一节，我想先补充一下TVM Pass Infra的用法，然后再解析一下TVM中的一个非常重要的Pass即算符融合。
0x01. 如何使用TVM Pass Infra
关于TVM Pass Infra的介绍可以移步【从零开始学深度学习编译器】七，万字长文入门TVM Pass查看。

...

			
		

	





	

		

			

				
					
TVM笔记-pass

				
			

			

				

					qq_33287871的博客
				

				

					03-26
					
					482
					
				

			

		

		

			
				
1. 强拆Relay ir Pass
fold_const = relay.transform.FoldConstant()  # 返回类型pass
mod = fold_const(mod)  # 执行pass
2. 函数调用关系图

3. IPO

input: IRModule
process： pass优化
output： IRModule

4. pass data structure
对于通用数据结构的定义均在目录tvm/ir中，执行pass 是一个module到module的映射
pass =

			
		

	





	

		

			

				
					
【从零开始学深度学习编译器】五，TVM Relay以及Pass简介

				
			

			

				

					I good vegetable a!
				

				

					05-24
					
					1293
					
				

			

		

		

			
				
0x0. 介绍
在前面几节的介绍中我们了解到了TVM是如何将ONNX前端模型转换为IR Module的，并且还剖析了TVM中的Relay算子和TOPI算子的扭转过程，注意Relay算子的最终计算也是基于TOPI算子集合完成的。然后我们在基于ONNX模型结构了解TVM的前端那篇文章的示例程序中还有一个很重要的细节没有介绍，即下面这几行代码：
######################################################################
# Relay Build


			
		

	





	

		

			

				
					
深度学习编译中间件之NNVM(四)TVM设计理念与开发者指南

				
			

			

				

					sanallen的专栏
				

				

					02-28
					
					9715
					
				

			

		

		

			
				
参考文档


http://docs.tvmlang.org/dev/index.html TVM Design and Developer Guide


本文档为官方指导手册的中文翻译版本，主要涉及到TVM的设计理念和开发者指南，适用于计划深入掌握TVM深度定制开发技术的开发者。



TVM运行时系统

TVM支持多种编程语言下的编译器堆栈开发和部署，针对本文档我们主要会介绍TVM运行时的关...

			
		

	





	

		

			

				
					
TVM学习（八）pass总结

				
			

			

				

					qq_33287871的博客
				

				

					04-11
					
					1436
					
				

			

		

		

			
				
什么是pass？
Pass是TVM中基于relay IR进行的优化，目的是去除冗余算子，进行硬件友好的算子转换，最终能够提高硬件运行效率。由tensorflow等深度学习框架生成的图机构中，含有很多可以优化的算子，比如expand_dim，len等，其实在编译阶段完全可以优化掉，从而能够减少硬件的计算，以及避免出现硬件不支持的算子。
TVM中在include/tvm/ir/transform.h中对pass进行了抽象，主要包括PassContext，PassInfo，Pass，以及Sequential。其中

			
		

	





	

		

			

				
					
tvm学习笔记（五）：tvm工作原理

				
			

			

				

					sinat_31425585的博客
				

				

					07-19
					
					9954
					
				

			

		

		

			
				
一、总体流程：

     TVM的工作流程：首先，将网络表示成统一的表示形式（Intermediate Representation），并进行一些可重用的图优化；然后，利用不同的后端生成对应设备代码，如图1所示。



                                   图1 tvm 工...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值