关于tvm的学习记录

最新推荐文章于 2024-08-15 09:50:53 发布
最新推荐文章于 2024-08-15 09:50:53 发布
阅读量565 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52291847/article/details/118669023
版权
TVM是一个基于编译优化的推理框架，旨在解决算法模型在各种硬件上的兼容性和性能问题。它通过IR模块（ Relay, TIR）和Runtime Module实现模型的编译与运行。TVM的算法包括Frontend、Relay Passes、调度等，其中AutoTVM通过强化学习自动搜索最佳调度配置。其特色是算子计算与调度的分离，以及提供了AutoTVM以优化特定硬件的性能。" 108819136,9926573,递归算法应用：青蛙跳台阶与汉诺塔问题解析,"['递归', '算法', '数学问题', '编程挑战', '逻辑思维']
摘要由CSDN通过智能技术生成

一、TVM概念

基于编译优化思想的推理框架，为了算法模型在所有可能部署的设备上都达到良好性能。

二、tvm解决的问题

1、兼容性问题

曾经出现了很多种编程语言，有很多种硬件，历史上最开始也是一种语言对应一种硬件，从而造成编译器的维护困难与爆炸。

 

而编译器后面解决了这个问题，其具体解决办法是这样的：抽象出编译器前端，编译器中端，编译器后端等概念，引入IR (Intermediate Representation)

 

而对于现在多种训练框架训练的算法模型与硬件对应关系混乱，可得出以下架构：

 

2、性能优化

通过模型优化，让部署到硬件上的机器学习模型有良好性能。

三、TVM的基本架构

最低0.47元/天 解锁文章
开 心
关注
TVM学习教程
qq_33287871的博客
01-29 2746
目录Step 1：TVM 视频介绍Step 2：研读 TVM 论文Step 3：了解 TVM 官网中可以学习的资料Step 4：上手 TVM CodeStep 5：TVM 其他相关资料 Step 1：TVM 视频介绍 https://www.bilibili.com/video/av29521815/ Step 2：研读 TVM 论文 https://www.usenix.org/system/files/osdi18-chen.pdf Step 3：了解 TVM 官网中可以学习的资料 https://tv
【TVM学习一】About TVM
My Blogs
07-18 2006
TVM是一个用于CPU, GPU和专用加速器的开放式深度学习编译器堆栈。它旨在缩小以生产力为重点的深度学习框架与面向性能或效率的硬件后端之间的差距。TVM提供以下主要功能： 将Kears, MxNet, Tensorflow, CoreML, DarkNet中的深度学习模型汇编成各种硬件后端的最小可部署模块。 基础架构可以在更多的后端自动生成和优化张量运算符(tenso...
谈一谈TVM编译工程师的修炼手册
最新发布
kingking44的博客
08-15 1108
TVM 之所以被称为编译器，是因为它提供了从模型表示到硬件特定代码生成的完整编译链。在这个过程中，TVM 执行了诸如优化、调度、代码生成等传统编译器的任务，并最终生成了可以在目标硬件上高效运行的代码。每次加载和运行 ONNX 模型时，如果有变化或需要优化，可能会重新编译代码以适应新的硬件配置或运行时环境。编译工程师的工作涉及编译器的开发、硬件适配、代码优化以及性能调优等多个方面。特别是在 NPU 这样的硬件平台上，编译工程师的工作对充分利用硬件资源、提升深度学习模型的执行效率至关重要。
TVM学习
weixin_47219373的博客
05-09 143
TVM官方教程： https://tvm.apache.org/docs/tutorial/introduction.html
TVM 学习指南（个人版）
I good vegetable a!
09-02 6219
最近粗略的看完了天奇大佬的MLC课程（顺便修了一些语法和拼写错误，也算是做了微弱的贡献hh），对TVM的近期发展有了一些新的认识。之前天奇大佬在《新一代深度学习编译技术变革和展望》一文中（链接：https://zhuanlan.zhihu.com/p/446935289）讲解了TVM Unify也即统一多层抽象的概念。这里的统一多层抽象具体包括AutoTensorization用来解决硬件指令声明和张量程序对接，TVM FFI（PackedFunc）机制使得我们可以灵活地引入任意的算子库和运行库函数并且在各
【从零开始学深度学习编译器】一，深度学习编译器及TVM 介绍
I good vegetable a!
03-20 3599
0x0. 介绍 大家好呀，在过去的半年到一年时间里，我分享了一些算法解读，算法优化，模型转换相关的一些文章。这篇文章是自己开启学习深度学习编译器的第一篇文章，后续也会努力更新这个系列。这篇文章是开篇，所以我不会具体讲解TVM的知识，更多的是介绍一下我自己眼中的深度学习编译器是什么？以及为什么我要选择学习TVM，最后我也会给出一个让读者快速体验TVM效果的一个开发环境搭建的简要教程。 0x1. 为什么需要深度学习编译器？ 深度学习编译器这个词语，我们可以先拆成两个部分来看。 首先谈谈深度学习领域。从训练框架角
关于TVM的点滴记录
吴建明wujianming_110117
06-13 469
关于TVM的点滴记录
TVM笔记一
TBAALi的博客
12-01 552
【代码】TVM笔记一。
深度学习AI编译器-TVM简介
wsq_zqfl的博客
05-27 2664
深度学习编译器主要为解决不同框架下训练的模型部署到指定的某些设备上时所遇到的一系列复杂的问题，即将各种深度学习训练框架的模型部署到各种硬件所面临的问题；
TVM学习（四）codegen
qq_33287871的博客
02-25 1151
接着上一章继续深入代码，在BuildRelay中会调用Codegen函数。这个函数实现在src/relay/backend/http://graph_runtime_codegen.cc中。Codegen实现了内存的分配，IR节点到TIR节点的转换，tir图节点的一个调度优化。内存分配由函数relay.backend.GraphPlanMemory来实现，VisitExpr对节点进行遍历并进行节点信息的记录。LowerExternalfunctions完成ir节点到tir节点的转化以及schedule的优化
TVM学习（六）细读前端
qq_33287871的博客
02-25 863
用了几章的篇幅写了一些粗读TVM代码的收获，虽然读了一点皮毛，但是还是掌握了TVM的基本架构和代码组成，算是给以后的精读打下了一点基础吧。从这章开始再从头捋一遍TVM代码，顺序是frontend-build-optimize-lower-target。 TVM前端可以适配大多数流行的深度学习框架，比如tensorflow，pytorch，onnx等。这里我选择适配tensorflow的前端代码来看。 TVM前端的输入是protoBuf格式的二进制文件，这个文件描述了由tensorflow构建的神经网络的结构
TVM | 一种用于深度学习的端到端自动优化编译器
极智视界
10-26 731
大家好，我是极智视界，本文解读一下 一种用于深度学习的端到端自动优化编译器 TVM。
TVM（端到端深度学习编译器）简介
热门推荐
wendaocp的博客
02-20 1万+
算子编译器前后端引入 引入 2021.2.8 和振伟聊了关于HW OD的工作内容，深度上很好的方向， 目前纯OP的high level的设计，业界已经内卷了即难以进步。 torch已经很好用了社区也好，想从纯软件上进步很难。 而硬骨头OP在硬件上的优化比如GPU有前途但研发周期长，人才紧缺，还在缓慢发展中。 TVM是业界有名气的平台，HW的TBE对标TVM 要做一个接口在前端（各种框架）和后端（异构）。 有了前后端的经验，那么整个行业的Edge端都可以用到，市场很大。 ...
【TVM 学习资料】快速入门：编译深度学习模型
HyperAI超神经
03-20 476
这个例子展示了如何用 Relay Python 前端构建神经网络，并为装有 TVM 的 NVIDIA GPU 生成 runtime 库。注意，构建 TVM 需要启用 CUDA 和 LLVM。
TVM：端到端自动深度学习编译器（244页PPT）
05-11
陈天奇给了关于TVM的报告，TVM: An End to End Automated Deep Learning Compiler。
如何学习TVM的代码？
qq_33287871的博客
02-14 810
问题： 对陈天奇团队的开源深度学习编译器TVM很感兴趣，特别是看到18年发的论文中提到的在FPGA上的部署。对于基础知识薄弱（如体系架构编译等方面）的学生，应该如何学习TVM的代码呢？ 如提问有误请指正，求轻喷。 相关链接： TVM: End-to-End Optimization Stack for Deep Learning 自动生成硬件优化内核：陈天奇等人发布深度学习编译器TVM dmlc/tvm 作者：蓝色 链接：https://www.zhihu.com/question/268423574/an
TVM 从入门到精通 | 安装 TVM (Part 1)
HyperAI超神经
11-28 2607
手把手教学之从源码安装 TVM
TinyML-TVM如何驯服TinyML
吴建明wujianming_110117
03-13 423
TinyML-TVM如何驯服TinyML 低成本，以人工智能为动力的消费类设备的激增，导致机器学习研究人员和从业人员对“裸机”（低功耗，通常没有操作系统）设备产生了广泛的兴趣。尽管专家已经有可能在某些裸机设备上运行某些模型，但是为各种设备优化模型的挑战非常艰巨，通常需要手动优化设备特定的库。对于那些没有Linux支持的平台，不存在用于部署模型的可扩展解决方案。因此，为了定位新设备，开发人员必须实现一次性的定制软件堆栈，以管理系统资源和调度模型执行。 机器学习软件的手动优化不是裸机设备领域独有的。实际上，对于
初识 TVM
小菜鸟的AI之路
11-15 6768
如有图像或公式显示错误，可以访问我的个人博客：https://www.wanglichun.tech/2019/11/15/tvm/ 笔者也是最近偶然的机会才开始接触TVM，使用过后发现，经过auto-tuning后的TVM模型在速度是竟然超过了TensorRT,并且笔者使用的是MXNet框架，TVM对MXNet绝对的友好，对于Pytorch等模型，可以使用ONNX，操作也一样简单，使用起来基本类...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值