[陈天奇]机器学习编译课程学习笔记

[陈天奇]机器学习编译课程学习笔记


第一节 机器学习编译概述

1、为什么要学习机器学习编译?

AI出现之前的传统应用软件和硬件关系较为简单,上层各种各样的app,依赖少一些的软件库,软件库的实现基于特定的几种语言,但是对应到底层的部署硬件,大多都是x86,arm这样的通用处理器。陈天奇总结的是典型的漏斗型,这个很形象。
在这里插入图片描述
但是在机器学习时代,AI软件不是传统意义的app,而是机器学习模型。同时还要求我们将机器学习模型部署在cpu、gpu、npu等各种asic上、甚至是集群环境下,由于有的模型的计算量很大,需要能够在部署的硬件上高效执行。
机器学习编译问题其实本质是机器学习的部署问题。编译过程是将机器学习模型的执行和优化从开发态转变到部署态。这个过程把机器学习模型拆解开来,从计算图执行、优化到计算库,以及底层os和硬件的加速接口等元素详细的拆解开来。

2、机器学习编译的目标是什么?

1、首先是整合和最小化相关的依赖;如何理解:整合主要是类似各种框架中提供的不同算子等大量资源,在具体的应用部署时只需要其中的一小部分资源,这里机器学习编译器可以进行相关的依赖识别,进行相关的整合,来实现高效的应用模型部署。另一种整合,是用户自定义算子和厂商提供的计算库之间的整合。
2、再次就是针对gpu、tpu等不同的部署硬件&#

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值