编者按:在刚刚结束的 PyCon China 2022 大会上,龙蜥社区开发者朱宏林分享了主题为《ARM 芯片的 Python+AI 算力优化》的技术演讲。本次演讲,作者将向大家介绍他们在倚天 710 ARM 芯片上开展的 Python+AI 优化工作,以及在 ARM 云平台上部署 Python+AI 任务的最佳实践。
以下为本次演讲内容:
(图/朱宏林现场演讲)
我们的场景是 ARM 平台的和 AI 相关的任务,主要的目标是进行性能优化,具体来说我们首先关注的是深度学习推理任务(inference task),主要原因也是来自于业务需求。
这里说的 ARM 平台不是我们理解的终端设备,比如手机之类的,而是指服务端平台。在大家印象中,AI 任务,特别是深度学习的程序一般是跑在 GPU 或者 x86 的 CPU 上,出于功耗、成本、性能等因素的考虑,云厂商逐步开始建设 ARM 架构的服务平台,这是一个趋势。当然 ARM 平台还不是很成熟,许多软件还无法成功跑起来,更不要说提升性能了。
我们想要吸引一部分用户将AI应用从原先的 x86 平台上迁移到 ARM 平台上。这就要求 ARM 平台能提供更好的性能,或者更好的性价比。所以说如何整合 Python+AI 的相关软件使其发挥最好的性能成为了我们关注的重点。
下文的分享整体分为两部分,一部分是介绍我们进行的优化工作,主要是跟矩阵乘法相关的优化,第二部分是关于 Python AI 应用在 ARM 云平台-倚天 710 上的最佳实践。
一、优化工作介绍
前面说我们的优化是和矩阵乘法相关的,那首先需要说明为什么我们会关注到这个。
这里有一个绕不开的场景就是深度学习,不管是前几年知名的 AlphaGo,还是当前火热的 ChatGPT,都用到了大量深度学习的技术,深度学习本身只是AI的一个分支,但却影响广泛,不容忽视。所以我们从深度学习开始切入,从当前最广泛使用的深度学习框架,TensorFlow 和 PyTorch 开始。此外,我们还需要结合硬件场景<