解读最佳实践：倚天710 ARM芯片的 Python+AI 算力优化

编者按：在刚刚结束的 PyCon China 2022 大会上，龙蜥社区开发者朱宏林分享了主题为《ARM 芯片的 Python+AI 算力优化》的技术演讲。本次演讲，作者将向大家介绍他们在倚天 710 ARM 芯片上开展的 Python+AI 优化工作，以及在 ARM 云平台上部署 Python+AI 任务的最佳实践。

以下为本次演讲内容：

（图/朱宏林现场演讲）

我们的场景是 ARM 平台的和 AI 相关的任务，主要的目标是进行性能优化，具体来说我们首先关注的是深度学习推理任务（inference task），主要原因也是来自于业务需求。

这里说的 ARM 平台不是我们理解的终端设备，比如手机之类的，而是指服务端平台。在大家印象中，AI 任务，特别是深度学习的程序一般是跑在 GPU 或者 x86 的 CPU 上，出于功耗、成本、性能等因素的考虑，云厂商逐步开始建设 ARM 架构的服务平台，这是一个趋势。当然 ARM 平台还不是很成熟，许多软件还无法成功跑起来，更不要说提升性能了。

我们想要吸引一部分用户将AI应用从原先的 x86 平台上迁移到 ARM 平台上。这就要求 ARM 平台能提供更好的性能，或者更好的性价比。所以说如何整合 Python+AI 的相关软件使其发挥最好的性能成为了我们关注的重点。

下文的分享整体分为两部分，一部分是介绍我们进行的优化工作，主要是跟矩阵乘法相关的优化，第二部分是关于 Python AI 应用在 ARM 云平台-倚天 710 上的最佳实践。

一、优化工作介绍

前面说我们的优化是和矩阵乘法相关的，那首先需要说明为什么我们会关注到这个。

这里有一个绕不开的场景就是深度学习，不管是前几年知名的 AlphaGo，还是当前火热的 ChatGPT，都用到了大量深度学习的技术，深度学习本身只是AI的一个分支，但却影响广泛，不容忽视。所以我们从深度学习开始切入，从当前最广泛使用的深度学习框架，TensorFlow 和 PyTorch 开始。此外，我们还需要结合硬件场景<