tvm.relay学习（九）——relay常量

最新推荐文章于 2022-10-19 09:42:23 发布
最新推荐文章于 2022-10-19 09:42:23 发布
阅读量398 收藏
点赞数
分类专栏： TVM Relay
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42164269/article/details/103416899
版权

此节点表示一个恒定的张量值。 常数表示为NDArray，从而允许Relay利用TVM运算符进行常数评估。

由于标量是形状为（）的张量，因此该节点也可以表示标量常量。 因此，在文本格式中，数字和布尔文字是用于编码具有零秩形状的张量类型的常量的语法糖。

牛牛存
关注
专栏目录
TVM学习（四）codegen
qq_33287871的博客
02-25 1149
接着上一章继续深入代码，在BuildRelay中会调用Codegen函数。这个函数实现在src/relay/backend/http://graph_runtime_codegen.cc中。Codegen实现了内存的分配，IR节点到TIR节点的转换，tir图节点的一个调度优化。内存分配由函数relay.backend.GraphPlanMemory来实现，VisitExpr对节点进行遍历并进行节点信息的记录。LowerExternalfunctions完成ir节点到tir节点的转化以及schedule的优化
TVM学习（八）pass总结
qq_33287871的博客
04-11 1434
什么是pass？ Pass是TVM中基于relay IR进行的优化，目的是去除冗余算子，进行硬件友好的算子转换，最终能够提高硬件运行效率。由tensorflow等深度学习框架生成的图机构中，含有很多可以优化的算子，比如expand_dim，len等，其实在编译阶段完全可以优化掉，从而能够减少硬件的计算，以及避免出现硬件不支持的算子。 TVM中在include/tvm/ir/transform.h中对pass进行了抽象，主要包括PassContext，PassInfo，Pass，以及Sequential。其中
tvm.relay学习（十）——relay元组
weixin_42164269的博客
12-06 565
1.元组构造： 元组节点构建异构数据的有限（即静态已知大小）序列。 这些元组与Python紧密匹配，并且其固定长度可以有效地映射其成员。 fn(%a : Tensor[(10, 10), float32], %b : float32, %c : Tensor[(100, 100), float32]) { let %tup = (%a, %b); // type: (Tens...
tvm.relay学习（五）——relay操作符
weixin_42164269的博客
12-05 1049
操作符是Relay操作中未定义的原始操作，例如add或conv2d。运算符在C++中的全局运算符注册表中声明。 TVM的Tensor操作符清单（TOPI）支持许多常见的操作符。 要注册操作符，用户必须提供操作符的实现、其类型以及任何其他所需的元数据。操作符注册表是一个基于列的存储，其中运算符是键，因此任何元数据（可能由优化过程引用）都可以注册为新列。 从Relay类型系统的角度来看，操作符是一...
tvm.relay学习（七）——Relay调用
weixin_42164269的博客
12-06 738
Relay中具有函数类型的表达式是“可调用的”，这意味着它们可以通过函数调用来调用。 这些由计算结果为闭包的任何表达式（即函数表达式或全局函数）和Relay运算符组成。 调用的语法遵循类似C的语言所使用的语法，如以下示例所示： let %c = 1; let %f = fn(%x : Tensor[(), float32], %y : Tensor[(), float32]) { %x + ...
在Relay中添加一个编译pass
zx_ros的博客
06-02 550
本文翻译自Adding a Compiler Pass to Relay — tvm 0.9.dev0 documentation编译器pass是扩展Relay特性集和对Relay程序进行优化的主要接口。通过编写编译器pass，您可以修改AST或收集有关AST的信息，这取决于您的目标。事实上，Relay的一些最重要的内部特性(例如自动微分和类型推断)只不过是“标准的”编译器pass。从较高的层次上讲，编写pass有两个关键组件:首先，我们将概述编写编译器pass的关键机制。然后，我们将分析一个Relay常量
TVM Relay Pass探究
LF_AI的博客
10-19 638
引言Relay 是 TVM 中十分重要的基础组件之一，用于对接不同格式的深度学习模型以及进行模型的 transform。深度学习编译器的核心功能就是进行各种各样的 transform 变换，这个变换过程部分是由 Pass 来实现。当需要遍历计算图时，底层究竟是如何执行的？本文打算一探究竟。1. 简介Pass 两层设计：TIR 层，基于target的优化，主要涉及 lower 到 target...
桥接PyTorch和TVM
吴建明wujianming_110117
05-23 888
桥接PyTorch和TVM 人工智能最引人入胜的一些应用是自然语言处理。像BERT或GPT-2之类的模型及其变体，可以获住足够多的文本信息。 这些模型属于称为Transformers的神经网络类体系结构。 HuggingFace transformers library是实现最受欢迎的库之一。 与已经高度优化的实现的卷积模型或LSTM相比，对于Transformers而言，情况并非如此。本文探索TVM如何填补空白。分两个步骤进行操作： • 首先，在TVM上，使用BERT inference推理和调优。 •
TVM Pass IR如何使用
吴建明wujianming_110117
03-26 575
TVM Pass IR如何使用 随着Relay / tir中优化遍数的增加，执行并手动维护其依赖关系变得很棘手。引入了一个基础结构来管理优化过程，并应用于TVM堆栈中IR的不同层。 Relay / tir程序的优化可以以各种粒度应用，即分别使用tvm.relay.transform.FunctionPass/ tvm.tir.transform.PrimFuncPass和的功能级别和模块级别tvm.transform.ModulePass。或者，用户可以依靠在tvm.transform.Sequential
如何使用TVM Pass Relay
吴建明wujianming_110117
03-14 386
如何使用TVM Pass红外线 随着Relay / tir中优化遍数的增加，执行并手动维护其依赖关系变得很棘手。引入了一个基础结构来管理优化过程，将其应用于TVM堆栈中IR的不同层。 Relay / tir程序的优化可以以各种粒度应用，分别使用tvm.relay.transform.FunctionPass/ tvm.tir.transform.PrimFuncPass和的功能级别和模块级别tvm.transform.ModulePass 。用户可以依靠在tvm.transform.Sequential r
tvm.relay学习（四）——relay中的函数
weixin_42164269的博客
12-05 1161
Relay中的函数的作用类似于其他编程语言中的过程或函数，并用于推广命名子图的概念。函数是Relay中的第一类，这意味着它们就像变量、常量和元组一样是表达式。 另外，Relay中的函数是高阶的，这意味着可以将函数作为参数传递给函数或由函数返回，因为函数表达式求值闭包，闭包是张量和元组之类的值 。函数节点的具体定义可以和文档可以参考https://docs.tvm.ai/api/py...
【TVM】module ‘tvm’ has no attribute ‘module’
zixi_luo的博客
03-23 1710
报这个错的原因是TVM的API最近做了更改，将tvm.module.load更改为tvm.runtime.load_module就好啦~
tvm.relay学习（一）——relay介绍
weixin_42164269的博客
12-05 4876
relay是一种功能多样的编程语言，用于机器学习系统表达的中间表示。relay支持代数数据类型，闭包，控制流和递归，从而可以直接表示比基于计算图的IR更复杂的模型。relay还包括一种使用类型关系的依赖类型的形式，来处理对参数形状有复杂的要求的操作符的形状分析。relay在设计上是可扩展的，这使得机器学习的研究人员和实践者可以很容易地开发新的大型程序转换和优化。 ...
TVM踩坑记录
BokyLiu的博客
03-30 4352
TVM踩坑记录安装新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 安装 参照官网。 安装完成后安装官网quic...
将tensorflow 训练模型pb文件转为Relay_IR
沧海明月的博客
10-24 2201
举例：将推荐场景的DCN网络转为Relay_IR 1 预训练模型保存为pb self.saver = tf.train.Saver() init = tf.global_variables_initializer() self.sess = self._init_session() self.sess.run(init) self.saver.save(self.sess, './checkpoint_dir/') constant_graph = tf.graph_util.convert_vari
tvm.relay学习（三）——relay变量
weixin_42164269的博客
12-05 1006
受LLVM的启发，Relay在抽象语法树和文本格式中显式的区分全局变量和局部变量。在文本格式中，全局变量和局部变量通过前缀和sigils来区分。全局变量以@为前缀，局部变量以%为前缀。这种显式的区分使得某些优化很容易被实施。例如，内联全局定义无需进行分析：只需替换定义即可。 全局变量： 全局标志符以@标志前缀来区分，例如“@global”。全局标识符始终引用包含...
docker tvm :AttributeError: module 'tvm' has no attribute 'testing'
True Truth
11-15 1436
最近在搞tvm [官网:https://tvm.ai/], 我采用的docker的方式来快速入手的, 总体来说很简单: 1. 获取docker镜像 sudo docker pull tvmai/demo-gpu 2. 运行docker镜像, 注意这里我们使用了GPU, 需要用到nvidia-docker来共享gpu设备, 由于要使用到jupyter notebook, 所以要端口, 默认的...
TVM Compiler中文教程：TVM.Relay使用外部库
Mars_WH的专栏
06-03 3648
文章目录TVM.Relay中使用外部库创建一个简单的网络使用cuda后端构建和运行卷积层使用cuDNN实现验证结果结论 TVM.Relay中使用外部库 这篇教程介绍怎么在Relay中使用cuDNN、cuBlas这样的外部库。 Relay在内部使用TVM生成特定目标的代码。例如，使用cuda作为后端，TVM为用户提供的网络生成所有层的cuda kernel代码。但是有时，将设备厂商提供的外部库合并到...
AI System 人工智能系统 TVM深度学习编译器 DSL IR优化 计算图 编译 优化 内存内核调度优化 DAG 图优化 DFS TaiChi 函数注册机 Registry
万有文的博客
05-05 1864
DSL 领域专用语言 TVM深度学习编译器 参考项目 TaiChi 三维动画渲染物理仿真引擎DSL TVM 深度学习DSL 密集计算DSL LLVM 模块化编译器 编译器相关资料参考 DSL（Domain Specified Language）领域专用语言，它是用于解决特定领域问题的语言。 所谓领域专用语言（domain specific language / DSL），其基本思想是“求专不求全”，不像通用目的语言那样目标范围涵盖一切软件问题，而是专门针对某一特定问题的计算机语言。 与GPPL（通用目的
cannot import name 'onnx' from 'tvm.relay.op.contrib'
最新发布
09-27
你遇到的问题是在尝试从`tvm.relay.op.contrib`模块导入名为`onnx`的名称时失败。这可能是由于以下几个原因： 1. **模块未正确安装**：确保你已经正确安装了TVM库，并且`onnx`模块也已经安装。你可以使用以下命令来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值