【深度学习编译器系列】1. 为什么需要深度学习编译器?

深度学习编译器因深度学习广泛应用及多样化部署环境需求而诞生,旨在将模型转化为不同硬件上的优化代码,提升性能。与传统编译器相似但输入为深度学习模型,利用领域知识实现更优优化。
摘要由CSDN通过智能技术生成

本系列是自学深度学习编译器过程中的一些笔记和总结,参考文献在文末。

1. 概述

深度学习(DL)编译器的产生有两方面的因素:深度学习模型的广泛应用,以及深度学习芯片的层出不穷。

一方面,我们现在有非常多深度学习的应用,比如自动驾驶技术常常需要用到计算机视觉方面的模型,如行人检测,车道线识别等,智能家居设备常常需要用到自然语言处理(NLP)和语音识别方面的模型,甚至在生物学领域深度学习可以解决难倒了几代科学家的蛋白质折叠问题。

另一方面,这些应用要投入使用,面对的是非常多样的部署环境。比如自动驾驶相关的计算机视觉模型需要部署到车辆上,智能家居相关的自然语言处理模型需要部署到智能音箱上,另外一些应用还可能部署到手机上、数据中心的计算集群上等。而随着各种深度学习专用芯片的出现,如Google的TPU,Nvidia的Turing,Intel NNP,Amazon的Inferentia,阿里平头哥的含光,华为海思的NPU等等,部署环境变得更加的多样化。
gap

那么如何使不同的深度学习应用在不同的部署环境(如不同的硬件、不同的操作系统、不同的容器执行环境、不同的运行时计算库、不同的加速器类型等)上获得最优的性能呢?这正是深度学习编译器研究的问题。

2. 什么是深度学习编译器

深度学习编译器的任务,是把输入的深度学习模型

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值