深度学习编译器对比：The Deep Learning Compiler A Comprehensive Survey

已于 2023-06-23 21:58:04 修改
阅读量369 收藏 1
点赞数
分类专栏： 高性能计算 文章标签： 深度学习 人工智能
于 2023-06-23 21:44:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KPer_Yang/article/details/131354646
版权

参考：The Deep Learning Compiler: A Comprehensive Survey

记录几种深度学习编译器的功能和性能的对比；

在这里插入图片描述

在这里插入图片描述


TVM在CPU和GPU的表现最好；
在这里插入图片描述

MobileNet:TVM在conv、linear、expand表现最好；XLA在dewise的表现最好；

在这里插入图片描述

KPer_Yang
关注
专栏目录
深度学习编译器综述The Deep Learning Compiler
吴建明wujianming_110117
11-24 967
深度学习编译器综述The Deep Learning Compiler The Deep Learning Compiler: A Comprehensive Survey 参考文献： https://arxiv.org/pdf/2002.03794v4.pdf 在不同的DL硬件上部署各种深度学习（DL）模型的困难，推动了社区DL编译器的研究和开发。DL编译器已经从工业和学术界提出，如TysFraceXLA和TVM。类似地，DL编译器将不同DL框架中描述的DL模型作为输入，然后为不同的DL硬件生成优化代码作
【深度学习编译器系列】2. 深度学习编译器的通用设计架构
elaine_bao的专栏
02-21 716
深度学习编译器主要包括编译器前端和编译器后端两部分。编译器前端主要执行硬件无关的转换和优化，编译器后端主要执行硬件相关的优化。
【论文阅读】The Deep Learning Compiler: A Comprehensive Survey
Mitchell_Donovan的博客
07-26 2389
深度学习（Deep Learning）编译器将深度学习框架描述的模型在各种硬件平台上生成有效的代码实现，其完成的模型定义到特定代码实现的转换将针对模型规范和硬件体系结构高度优化。具体来说，它们结合了面向深度学习的优化，例如层融合和操作符融合，实现高效的代码生成。此外，现有的编译器还采用了来自通用编译器（例如LLVM）的成熟工具链，对各种硬件体系结构提供了更好的可移植性。简而言之，深度学习编译器通过对深度学习模型和计算图的优化，以及对硬件资源的充分利用，提高了深度学习模型的性能和效率。
深度学习编译器研究报告
性感的小君君
05-30 1397
近十年来，基于神经网络的深度学习技术将图像分类、语音识别和目标检测等技术的准确率提高到了实用的水平。众多的科技巨头和初创公司都卷入其中，努力挖掘各种可能的应用落地场景。深度学习技术已经走进并开始影响人们的生活。移动终端、嵌入式系统、单片机以及各种 AI 加速器都是深度学习应用落地的重要硬件平台，不同平台通常有不同的功能和特性，要在不同类型的设备上都获得最佳性能非常困难，因为需要基于硬件对模型与运算核心同时进行优化才能充分发挥硬件的性能。所以在现阶段为各种计算平台和加速器研发配套的软件工具来实现模型的高性能部
(一)大话深度学习编译器中的自动调优·前言
世事难料，保持低调
02-20 6265
深度学习计算框架中的自动化调优，尤其是高性能算子自动生成是这几年非常火的话题。这个系列的文章主要是对之前看到的零碎信息做个简单的总结。尽管，由于有些方向比较艰深，笔者懂得十分浅薄，文章在很多方面也只能蜻蜓点水。这是第一篇，权当是个引子。
Deep Learning Compiler 之自我理解
博客标题
01-28 2216
Deep Learning Compiler 之自我理解前序编译器狂想DL编译器什么是DL编译器DL编译器的融合DL编译器的优化方法 前序 接触DL算起来也有几年了，但是一直在外围，未真正深入。因工作关系，主要接触的是DL的inference架构以及ASIC的Soc部分，零散又琐碎。 后将DL compiler作为个人的兴趣方向，认为DL编译器在整个DL的业务流程中，处于承上启下的地位。读了些论文以及代码，但依然缺少系统性。 近一年前接触MLIR，当时只是粗略了解，以及在nGraph上玩了玩MLIR，仅此而
深度学习分布式策略优化、显存优化、通信优化、编译优化综述
Garvin的专栏
11-13 3203
综述 因为我个人最近在从事可能是AI领域对性能挑战最大的方向，自动驾驶领域，所以对整个深度学习训练的优化尤为关注，最近一直在学习相关内容，谨以此篇文章做一个总结。 我一直很看好深度学习训练优化这个方向,因为从大的环境上来看，似乎大模型会成为未来的一个趋势,目前以Google、OpenAI、阿里等厂商为代表的一系列头部的AI研究机构，已经把模型尺寸做到十万亿参数级别，明年应该可以达到百万亿参数，总体呈指数倍增长态势。而核心计算芯片的性能，却无法保证指数倍增长。 (上图因为制作时间较久,具体数字可能存
Machine Learning for Computer Systems and Networking:A Survey ---综述阅读 对于计算机系统和网络的机器学习
weixin_40293999的博客
03-26 2120
机器学习已经成了计算机视觉和自然语言处理等多个学科领域的主要方法.尽管最近取得了一些突破,机器学习仅仅在计算机视觉和网络领域进入了基本挑战.本文尝试阐明最近的尝试用ml解决计算机系统和网络的传统问题的文献.为了这一目标,我们首先介绍了一套研究问题领域的方法学,然后我们对每个领域进行了综合的回顾,并对这些领域进行了传统方法和ML方法的比较.最后,我们讨论了对计算机系统和网络的机器学习方法限制,的包括:训练数据不足,过拟合,实时性能,可解释性,并针对这些不足揭示出未来发展的方向.最接近我们工作的是[174]。
The Deep Learning Compiler A Comprehensive Survey.pdf
08-30
《The Deep Learning Compiler: A Comprehensive Survey》这篇论文由北京航空航天大学和清华大学的学者撰写，首次系统地分析了现有的DL编译器的设计架构。文章详尽探讨了面向深度学习的多层次中间表示（IRs）以及...
AI编译器的架构 The Deep Learning Compiler A Comprehensive Survey.pdf
07-01
AI 编译器架构是人工智能领域中一个非常重要的研究方向，它直接影响着深度学习模型在不同硬件平台上的部署和优化。近年来，随着深度学习模型的广泛应用，AI 编译器架构的研究和开发也在急剧增加。本文将对 AI 编译器...
深度学习编译器综述：从Tensorflow XLA到TVM
"这篇论文《The Deep Learning Compiler: A Comprehensive Survey》由北航和清华大学的学者撰写，首次全面概述了当前深度学习（DL）编译器的现状。论文重点讨论了DL编译器的设计架构，特别是针对DL模型的多层次中间...
Python 使用 LSTM 进行情感分析：处理文本序列数据的指南
chusheng1840的博客
10-29 1340
LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN），其结构设计使其能够“记住”较长的序列信息。传统 RNN 在处理长序列数据时容易出现“梯度消失”或“梯度爆炸”的问题，而 LSTM 引入了“遗忘门”、“输入门”和“输出门”结构，使其能够在较长的时间跨度内保持记忆。情感分析是一种自然语言处理（NLP）技术，用于分析文本中表达的情绪。通过情感分析，我们可以将一段文本标记为正面、负面或中性等类别。
深度学习之激活函数
最新发布
weixin_43775295的博客
10-30 1072
PiexpθiTx∑k1KexpθiTxPi∑k1K​expθiT​xexpθiT​x​​ 其中，$ \theta_i $ 和 $ x $ 是列向量，$ \theta_i^T x $ 可能被换成函数关于 $ x $ 的函数 $ f_i(x) $​ 通过 softmax 函数，可以使得 $ P(i) $ 的范围在 $ [0,1] $ 之间。
引入了窥视孔连接（peephole connections）的LSTM
m0_73640344的博客
10-29 605
通过引入窥视孔连接，LSTM能够更加精确地控制信息流，因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能，尤其是在需要精细控制内部状态记忆的应用中，如复杂的序列预测和模式识别任务，也提高了决策过程的透明度和直观性。
深入探索：深度学习在时间序列预测中的强大应用与实现
平凡程序猿~的博客
10-28 3431
随着深度学习的快速发展，循环神经网络（RNN）、长短期记忆网络（LSTM）、门控循环单元（GRU）、卷积神经网络（CNN）以及Transformer模型逐步应用到时间序列分析中，并取得了较好的结果。下面将详细介绍这些模型的原理、优势、不足以及实际应用中的代码示例。
深度学习：梯度下降算法简介
m0_73640344的博客
10-29 1260
在深度学习的训练过程中，梯度下降算法（Gradient Descent，简称GD）扮演着至关重要的角色。这一算法的核心机制是利用数据集的梯度信息来迭代更新模型参数，以最小化损失函数。接下来，我们将详细讨论其各种变体和进化。1. 随机梯度下降（SGD）由于全批量的梯度下降在面对大规模数据集时会受到内存限制和迭代速度的制约，学者们提出了随机梯度下降（Stochastic Gradient Descent，SGD）。这种方法每次迭代仅使用数据集中的一个小批量样本来计算梯度和更新参数。
【征程 6 工具链性能分析与优化-1】编译器预估 perf 解读与性能分析
地平线开发者
10-30 929
这篇文章中，我们将首先介绍layerdetails中的参数信息，然后将结合实例分析如何利用layerdetails来分析模型的性能瓶颈，进而对模型的性能进行优化。
【深度学习】用LSTM写诗，生成式的方式写诗系列之一
weixin_40293999的博客
10-30 258
先训练了100轮次，后面应该还能增长，但是不等了。
从0开始深度学习（23）——图像卷积
立志成为炼丹师？
10-29 1231
上节了解了卷积层的原理，本节以图像为例，介绍一下它的实际应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

KPer_Yang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值