关于TVM模型的Relay IR的Node遍历

TVM Relay Node类型与遍历方法


目的

关于TVM模型的Relay IR的Node遍历

二、步骤

1.遍历方法

代码如下(示例):

import tvm
from tvm import relay
from tvm.contrib.debugger import debug_executor
import numpy as np
import onnx
from tvm.contrib import graph_executor

# 定义fvisit函数
def print_node_type(node):
    print(type(node))

def compile_and_run_each_layer(path, input_shape, target):
    onnx_model = onnx.load(path)
    mod, params = relay.frontend.from_onnx(onnx_model, shape={'input': input_shape})
    # 编译模型
    with tvm.transform.PassContext(opt_level=3):
        lib = relay.build(mod, target, params=params)

    # 获取每个操作, node类型包括:tvm.relay.expr.Var,tvm.ir.op.Op,tvm.relay.expr.Constant,tvm.relay.expr.Call,tvm.relay.function.Function等
    node for node in relay.analysis.post_order_visit(mod['main'], print_node_type)

打印Resnet50的Node类型如下:

<class 'tvm.relay.expr.Var'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.ir.op.Op'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.expr.Constant'>
<class 'tvm.relay.expr.Call'>
<class 'tvm.relay.function.Function'>

2.关于节点类型

在 TVM 框架中,relay 模块定义了用于构建和表示深度学习计算图的类和函数。下面是一些类的概述和它们在 Relay IR (中间表示)中的作用:

  1. tvm.relay.expr.Var: 这个类代表了计算图中的一个变量,通常用来表示输入数据或者模型参数。每一个 Var 实例都有一个唯一的名称和数据类型。例如,创建一个新的变量:
x = relay.var('x', relay.TensorType((1,), 'float32'))
  1. tvm.ir.op.Op: 这是所有 Relay算子的基类,它描述了一个操作的属性和行为。操作(Op)是构建神经网络层的基础,例如卷积、激活函数、池化等。举例来说,获取一个操作符的信息:
add_op_info = relay.op.get("add")
  1. tvm.relay.expr.Constant: 表示计算图中的常数值。一个 Constant 包含一个实际的张量值,通常用于表示模型中的权重和偏差。创建一个常量:
one = relay.const(1, 'float32')
  1. tvm.relay.expr.Call: 代表对一个函数或者操作的调用。在 Relay 中,模型中的每一个层(例如,卷积层、全连接层等)通常由一个 Call 节点表示。例如,创建一个对 add 函数的调用:
y = relay.add(x, one)
  1. tvm.relay.function.Function: 这个类表示一个 Relay 函数,它有参数列表和函数体。一般用于定义模型的前向传播,将输入变量映射到输出。创建一个简单的函数:
 `fn = relay.Function([x], y)`

在 Relay IR 中,这些类和实例是用于构建和表示深度学习模型的不同部分。通过这些构建块,可以表示复杂的计算图,进而进行优化和编译,以在不同的硬件上高效运行。

总结

TVM入门

  • 6
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

eduics

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值