深度学习编译器及TVM 介绍

最新推荐文章于 2024-08-10 03:28:31 发布
最新推荐文章于 2024-08-10 03:28:31 发布
阅读量1.8k 收藏 6
点赞数 1
分类专栏： 笔记 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44764479/article/details/119892288
版权
本文介绍了深度学习框架，如TensorFlow、PyTorch等，并探讨了如何解决编译器对多种语言的适配问题。重点讲解了TVM，包括其作为深度学习编译器的角色、NNVM编译器的工作原理，以及如何导入PyTorch模型并编译到LLVM后端进行硬件上的推理。文章还展示了如何在目标硬件上运行模型并输出分类结果。
摘要由CSDN通过智能技术生成

一、现有的框架有哪些

（1）Google的TensorFlow
（2）FaceBook的Pytorch
（3）亚马逊的MxNet
（4）百度的Paddle
（5）旷视的MegEngine
（6）华为的Mindspore
（7）一流科技的OneFlow

二、怎么解决编译器对多种语言的适配问题

（1）解决方法：把编译器抽象的分为编译器前端，编译器中端，编译器后端，并引入

•编译器前端：接收C/C++/Java等不同语言，进行代码生成，吐出IR
•编译器中端：接收IR，进行不同编译器后端可以共享的优化，如常量替换，死代码消除，循环优化等，吐出优化后的IR
•编译器后端：接收优化后的IR，进行不同硬件的平台相关优化与硬件指令生成，吐出目标文件
（2）编译器抽象图（借用蓝色（知乎ID）大佬的图：）
在这里插入图片描述
（3）深度学习编译器抽象图

最低0.47元/天 解锁文章
抚琴问三生
关注
专栏目录
一步一步解读神经网络编译器TVM(一)——一个简单的例子
qq_33287871的博客
02-17 2553
@TOC 前言 这是一个TVM教程系列，计划从TVM的使用说明，再到TVM的内部源码?为大家大致解析一下TVM的基本工作原理。因为TVM的中文资料比较少，也希望贡献一下自己的力量，如有描述方面的错误，请及时指出。 那啥是TVM？ 简单来说，TVM可以称为许多工具集的集合，其中这些工具可以组合起来使用，来实现我们的一些神经网络的加速和部署功能。这也是为什么叫做TVM Stack了。TVM的使用途径很广，几乎可以支持市面上大部分的神经网络权重框架(ONNX、TF、Caffe2等)，也几乎可以部署在任何的平台，
TVM_深度学习编译器
实践出真理
08-02 335
TVM所做的是要比传统compiler更偏上层的，你可以把它理解成source-to-source compiler，需要其他的后端(backend)来生成最后的指令。比如当编译的Target是Intel CPU时，翻译的顺序是Relay IR -> TVM IR/ Halide IR -> LLVM IR，之后交给LLVM生成最后的可执行程序。
AI编译器及TVM概述
wsq_zqfl的博客
12-13 913
TVM（TVM stack）是一个深度学习和机器学习的通用端到端支持库和编译器堆栈，旨在为深度学习模型的开发、优化和部署提供全面的支持。TVM的整体架构包括以下几个关键组件：前端（Frontend）：TVM支持多种深度学习框架的前端，包括TensorFlow、PyTorch、Keras等。通过前端，用户可以将自己的深度学习模型导入到TVM中进行编译和优化。中间表示（Intermediate Representation，IR）：TVM使用一种中间表示来表示深度学习模型。
深度学习编译器后端和运行时
最新发布
weixin_37005037的博客
08-10 27
前言编译器前端将用户代码解析得到计算图 IR，并且做了一些和计算设备无关的通用优化。编译器后端做的优化就和具体的设备有关了（不同设备有不同的 allocator，不同的编程模型，比如英伟达的 CUDA），后端优化更加贴合硬件，会针对硬件特点为 IR 中的计算节点选择在硬件上的算子，然后为每个算子的输入输出分配硬件内存，最终...
【从零开始学深度学习编译器】一，深度学习编译器及TVM 介绍
I good vegetable a!
03-20 3490
0x0. 介绍 大家好呀，在过去的半年到一年时间里，我分享了一些算法解读，算法优化，模型转换相关的一些文章。这篇文章是自己开启学习深度学习编译器的第一篇文章，后续也会努力更新这个系列。这篇文章是开篇，所以我不会具体讲解TVM的知识，更多的是介绍一下我自己眼中的深度学习编译器是什么？以及为什么我要选择学习TVM，最后我也会给出一个让读者快速体验TVM效果的一个开发环境搭建的简要教程。 0x1. 为什么需要深度学习编译器？ 深度学习编译器这个词语，我们可以先拆成两个部分来看。 首先谈谈深度学习领域。从训练框架角
编译实验 中间代码生成_也谈TVM和深度学习编译器
weixin_39938746的博客
11-22 646
第一次在知乎上发文章，缘由是上周末看到蓝色和杨军两位大佬对于TVM和XLA的非常有价值的讨论，还看到了高叔叔（多年计算库开发经验）关于自动代码生成和计算库bare-metal式优化的对比，感觉非常有意思，所以也想谈谈自己的看法。我的背景是GPU系统结构和算法加速，从去年开始接触TVM有小一年的时间。这两篇文章里已经对TVM有了非常好的讨论，我想从下面几个方面谈一下：1）代码生成与自动代码生成；2）...
聊聊Pytorch2.0的新特性
小鹏AI
01-12 1432
看提速，提升没有超一倍，相比TensorRT（TensorRT优化的话，一般都是2-6倍左右，当然要算FP16）除了r50，我也试了下dla结构的模型，其中with_dcn是带了自定义cuda实现的pytorch-dcn算子。Pytorch2.0的版本，可能Dynamo会成为主要的模型的parser替代。之后Pytorch转trt、转tvm、转乱七八槽一切也会慢慢往这个上头靠。优化级别还是差些的，性能肯定不是极致，更不如纯手工优化后的。一行代码就能优化你的模型，优化后的模型和往常使用方式一样。
TVM：端到端自动深度学习编译器（244页PPT）
05-11
陈天奇给了关于TVM的报告，TVM: An End to End Automated Deep Learning Compiler。
TVM：一种自动端到端优化的深度学习编译器
liteng607的博客
07-01 4210
现有的 DL 框架依赖于计算图 IR 来实现优化，比如自动微分（Auto Differentiation）和动态内存管理。然而计算图层级（Graph-level）的优化对硬件后端特定算子层级（Operator-level）的变换来说，往往视角太高了。这些框架大部分关注的都是服务器级 GPU 设备中的一小撮，而把目标机相关的优化委派给高度工程化的、厂家特化的算子库。这类算子库需要大量的人工调优，也因此过于特殊化（普适性差）和不透明，导致不易于在硬件平台之间移植。即使是框架支持的后端，优化计算图时也需要在以下两
TVM模型编译器
计算机视觉算法、工程、产品
07-07 222
最近我的测试结果： 结果分析： 1、TVM编译后模型比原生Torch模型，性能上有明显的提升； 2、TVM模型编译——重要的模型优化手段
神经网络编译器TVM
小鹏AI
11-17 1314
另一部分是schedule: 也即是代码层面对这些数学逻辑实现的调度层面的东西，比如我的for循环如何设计，中间变量如何存储，cache命中率如何，寄存器访问如何设置．是否有两步合并做一步的更高效的操作．这些部分的实现，对于我们上面说的tensorRT,tensorflow之类他有统一的实现，不会对每个神经网络做定制．而这部分对于推理时间的影响十分的大．。生成的代码就是咱们需要的推理代码啦，平台为了我们方便的使用，同时又帮我们编译成的so库，或者dll库。不同平台动态库类型不一样。形成最终的推理代码。
13-2MindSpore介绍及TVM联动.pdf
03-18
13-2MindSpore介绍及TVM联动
TVM - 用于cpu、gpu和专用加速器开放深度学习编译器堆栈-python
06-18
打开深度学习编译器堆栈文档 | 贡献者 | 社区 | 发行说明 Apache TVM（孵化）是深度学习系统的编译器堆栈。 它旨在缩小以生产力为中心的深度学习框架与以性能和效率为中心的硬件后端之间的差距。 TVM 与深度...
【从零开始学深度学习编译器】一,深度学习编译器及TVM 介绍
qq_33287871的博客
03-20 955
0x1. 为什么需要深度学习编译器？ 深度学习编译器这个词语，我们可以先拆成两个部分来看。 首先谈谈深度学习领域。从训练框架角度来看，Google的TensorFlow和FaceBook的Pytorch是全球主流的深度学习框架，另外亚马逊的MxNet，百度的Paddle，旷视的MegEngine，华为的Mindspore以及一流科技的OneFlow也逐渐在被更多人接受和使用。这么多训练框架，我们究竟应该选择哪个？如果追求易用性，可能你会选择Pytorch，如果追求项目部署落地，可能你会选择TensorFlo
【深度学习编译器系列】2. 深度学习编译器的通用设计架构
elaine_bao的专栏
02-21 692
深度学习编译器主要包括编译器前端和编译器后端两部分。编译器前端主要执行硬件无关的转换和优化，编译器后端主要执行硬件相关的优化。
TVM神经编译器
林宋的搬砖流水账
11-03 1615
深度学习编译器
自动生成硬件优化内核：陈天奇等人发布深度学习编译器TVM
omnispace的博客
02-19 9402
有了 TVM，业界与学界开发者们可以快速、轻松地在各个系统（包括手机、嵌入式设备与低功耗芯片）上部署深度学习应用程序，同时无须担心资源与速度的限制。「TVM 作为神经网络和硬件后端之间的共同层，消除了为每类设备或服务器优化各自基础架构的需要。」TVM 项目负责人陈天奇表示，「我们的框架允许开发人员快速、轻松地部署和优化大量硬件设备上的深度学习系统。」项目链接：https://github.com/...
深度学习编译器综述：从Tensorflow XLA到TVM
深度学习编译器是连接AI模型和硬件平台的关键桥梁，它们负责将各种深度学习模型转换为特定硬件平台上的高效代码。随着深度学习应用的普及和多样化，对能够适应不同硬件需求的编译器研究变得越来越重要。现有的DL...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值