机器学习编译入门课程学习笔记第一讲 机器学习编译概述_machine learning compilation(1)

8. 自动张量化
9. 计算图优化：算子融合和内存优化
10. 部署模型到服务环境
11. 部署模型到边缘设备

客观来说，本课程并不适合机器学习或者深度学习的初学者。但强烈推荐同学们先学习第一课：机器学习编译概述。然后再决定是否进行更加深入的学习。

本节课的slides链接如下：https://mlc.ai/summer22-zh/slides/1-Introduction.pdf；notes链接如下：https://mlc.ai/zh/chapter_introduction/。

2. 本节课内容大纲

1. 什么是机器学习编译？
2. 机器学习编译的目标是什么？
3. 为什么要学习机器学习编译？
4. 机器学习编译的核心要素是什么？

3. 机器学习编译的定义

机器学习编译 (machine learning compilation, MLC) 是指，将机器学习算法从开发形态，通过变换和优化算法，使其变成部署形态。简单来说，就是将训练好的机器学习模型应用落地，部署在特定的系统环境之中的过程。

#mermaid-svg-oOdiHFZjjEDO3GoU {font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .error-icon{fill:#552222;}#mermaid-svg-oOdiHFZjjEDO3GoU .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-oOdiHFZjjEDO3GoU .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-oOdiHFZjjEDO3GoU .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-oOdiHFZjjEDO3GoU .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-oOdiHFZjjEDO3GoU .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-oOdiHFZjjEDO3GoU .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-oOdiHFZjjEDO3GoU .marker{fill:#333333;stroke:#333333;}#mermaid-svg-oOdiHFZjjEDO3GoU .marker.cross{stroke:#333333;}#mermaid-svg-oOdiHFZjjEDO3GoU svg{font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-oOdiHFZjjEDO3GoU .label{font-family:“trebuchet ms”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .cluster-label text{fill:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .cluster-label span{color:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .label text,#mermaid-svg-oOdiHFZjjEDO3GoU span{fill:#333;color:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .node rect,#mermaid-svg-oOdiHFZjjEDO3GoU .node circle,#mermaid-svg-oOdiHFZjjEDO3GoU .node ellipse,#mermaid-svg-oOdiHFZjjEDO3GoU .node polygon,#mermaid-svg-oOdiHFZjjEDO3GoU .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-oOdiHFZjjEDO3GoU .node .label{text-align:center;}#mermaid-svg-oOdiHFZjjEDO3GoU .node.clickable{cursor:pointer;}#mermaid-svg-oOdiHFZjjEDO3GoU .arrowheadPath{fill:#333333;}#mermaid-svg-oOdiHFZjjEDO3GoU .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-oOdiHFZjjEDO3GoU .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-oOdiHFZjjEDO3GoU .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-oOdiHFZjjEDO3GoU .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-oOdiHFZjjEDO3GoU .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-oOdiHFZjjEDO3GoU .cluster text{fill:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU .cluster span{color:#333;}#mermaid-svg-oOdiHFZjjEDO3GoU div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:“trebuchet ms”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-oOdiHFZjjEDO3GoU :root{–mermaid-font-family:“trebuchet ms”,verdana,arial,sans-serif;}

转换

开发形态

部署形态

开发形态是指我们在开发机器学习模型时使用的形态。典型的开发形式包括用 PyTorch、TensorFlow 或 JAX(主要指的是深度学习学习模型)等通用框架编写的模型描述，以及与之相关的权重。

部署形态是指执行机器学习应用程序所需的形态。它通常涉及机器学习模型的每个步骤的支撑代码、管理资源（例如内存）的控制器，以及与应用程序开发环境的接口（例如用于Android 应用程序的Java API）。

  不同的AI应用对应的部署环境是互不相同的。以下图为例：电商平台不可或缺的推荐系统算法通常是部署在云平台(服务器)上；自动驾驶算法通常是部署在车辆上的专用计算设备；手机的各种APP以语音转文字的输入法为例，最终是部署在手机上的计算设备的。

  在进行机器学习模型部署时，不仅要考虑硬件系统环境，与此同时也需要考虑软件环境(如操作系统环境、机器学习平台环境等)。

4. 机器学习编译的目标

机器学习编译的直接目标包括两点：最小化依赖和利用硬件加速。机器学习编译的最终目的是实现性能(时间复杂度、空间复杂度)优化。

最小化依赖可以认为是集成(Integration)的一部分，提取出与应用相关的库(删除与应用无关的库)，从而减少应用的大小，达到节省空间的目的。

利用硬件加速指的是利用硬件本身的特性进行加速。可以通过构建调用原生加速库的部署代码或生成利用原生指令（如 TensorCore）的代码来做到这一点。

5. 为什么要学习机器学习编译？

• 构建机器学习部署的解决方案。
• 对现有机器学习框架形成更加深刻的理解。

6. 机器学习编译的核心要素

• 张量 (Tensor) 是执行中最重要的元素。张量是表示神经网络模型执行的输入、输出和中间结果的多维数组。
• 张量函数 (Tensor functions) 神经网络的“知识”被编码在权重和接受张量和输出张量的计算序列中。我们将这些计算称为张量函数。值得注意的是，张量函数不需要对应于神经网络计算的单个步骤。部分计算或整个端到端计算也可以看作张量函数。也就是说，不仅单个函数可以认为是张量函数，也可以把其中一部分(或者整个整体)看作是张量函数。

  下图中举了个实际的例子，第一个linear层和relu计算被折叠成一个linear_relu 函数，这需要有一个特定的linear_relu的详细实现。

6.1. 备注：抽象和实现

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

bbs.csdn.net/topics/618545628)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！