[陈天奇]机器学习编译课程学习笔记
第一节 机器学习编译概述
1、为什么要学习机器学习编译?
AI出现之前的传统应用软件和硬件关系较为简单,上层各种各样的app,依赖少一些的软件库,软件库的实现基于特定的几种语言,但是对应到底层的部署硬件,大多都是x86,arm这样的通用处理器。陈天奇总结的是典型的漏斗型,这个很形象。
但是在机器学习时代,AI软件不是传统意义的app,而是机器学习模型。同时还要求我们将机器学习模型部署在cpu、gpu、npu等各种asic上、甚至是集群环境下,由于有的模型的计算量很大,需要能够在部署的硬件上高效执行。
机器学习编译问题其实本质是机器学习的部署问题。编译过程是将机器学习模型的执行和优化从开发态转变到部署态。这个过程把机器学习模型拆解开来,从计算图执行、优化到计算库,以及底层os和硬件的加速接口等元素详细的拆解开来。
2、机器学习编译的目标是什么?
1、首先是整合和最小化相关的依赖;如何理解:整合主要是类似各种框架中提供的不同算子等大量资源,在具体的应用部署时只需要其中的一小部分资源,这里机器学习编译器可以进行相关的依赖识别,进行相关的整合,来实现高效的应用模型部署。另一种整合,是用户自定义算子和厂商提供的计算库之间的整合。
2、再次就是针对gpu、tpu等不同的部署硬件&#