深度学习编译器入门篇

一.为什么需要深度学习编译器?

1.计算正在边缘化
将深度学习模型直接部署到到云设备上，显然是一件省时省力的事情，但是并不省钱。随着云计算费用不断攀升，互联网公司在其的花费也是水涨船高，对于大型的公司而言虽然可以承受云计算所支出的高额费用，但是对与小型公司来说，稍有不慎就会面临破产。

于是越来越多的公司试图将计算转移到消费设备上，也就是我们的边缘设备。将尽可能多的计算转移到边缘设备上，云设备的计算就会减少，相应的成本也会降下来。当然，边缘计算相对云计算而言还有许多其它方面的优势。

二.异构ML模型与异构的边缘设备
随着硬件设备的飞速发展，能够运行ML模型的硬件设备也是越来越多，而训练深度学习模型的框架也有多种，于是就会面临这样一个问题：如何让使用任意框架构建的模型可以在任意硬件上运行？

一个框架要在某种硬件上运行，它必须得到硬件商的支持。例如，尽管Google早在2018年2月就已公开发布TPU，但直到2020年9月，TPU才支持PyTorch。在此之前，如果想使用TPU，就必须要使用Google的TensorFlow或JAX。

要使一种硬件（或平台）支持某一框架需要耗费大量时间和工作量。将ML工作负载映射到硬件需要了解并利用硬件的基础架构。然而，有一个基础性问题必须克服：不同的硬件类型有不同的内存布局和计算原语，如下图所示：

例如，从前，CPU的计算原语是数字（标量），GPU的计算原语是一维向量，而TPU的计算原语是二维向量（张量）。但是，如今许多CPU具有向量指令，而一些GPU具有二维张量核心。给定一个256张图像 x 3 通道 x 224 W x 224 H的batch，如果要对这个batch执行卷积算子，一维向量计算原语和二维向量计算原语将有很大不同。同样，还要考虑不同的L1、L2和L3布局和缓冲区大小，如此方能有效地利用内存。

正因如此，框架开发人员更倾向于只支持少数服务器级别的硬件（如GPU），而硬件商也倾向于只向少数框架提供自己的内核库（例如，英特尔的OpenVino工具库仅支持Caffe、TensorFlow、MXNet、Kaldi和ONNX。NVIDIA自己则有CUDA和cuDNN）。将ML模型部署到新硬件（例如手机、嵌入式设备、FPGA 和 ASIC）需要耗费大量的人力。

二.IR

与其针对每种新的硬件类型和设备配备新的编译器和库，何不创建一个中间媒介来桥接框架和平台？框架开发人员将不再需要支持每种类型的硬件，而是只需将他们的框架代码“翻译”成这种中间媒介。这样，硬件商就只需要支持一个中间框架。

这种中间媒介称为中间表示（IR）。IR是编译器工作的核心。编译器在模型原始代码的基础上生成一系列高级和低级中间表示，然后生成硬件原生代码以在特定平台上运行模型。

编译器通常利用代码生成器（codegen）根据IR生成机器原生代码。ML编译器中最常用的代码生成器是Vikram Adve和Chris Lattner开发的LLVM，LLVM改变了我们对系统工程的理解。TensorFlow XLA（译注：2022年10月，Google宣布开源OpenXLA）、NVIDIA CUDA编译器 (NVCC)、MLIR（用于构建其他编译器的元编译器）和TVM都在使用LLVM。

生成代码的过程也称为“降级（lowering）”，因为是将高级的框架代码“降低”为低级的硬件原生代码。准确地说，这个过程不能称作“翻译”，因为两种代码之间不是一对一的映射关系。

高级IR通常是ML模型的计算图。对于熟悉TensorFlow的人来说，这里的计算图类似TensorFlow 1.0中的计算图，那时TensorFlow还没有切换到Eager Execution模式。TensorFlow 1.0在运行模型之前会先构建模型计算图，计算图可让TensorFlow了解模型，从而优化运行时。

高级IR通常与硬件无关（无论在什么硬件上运行），而低级IR通常与框架无关（无论模型是用什么框架构建的）。

原文链接：https://www.zhihu.com/question/401766029