深度解读昇腾CANN计算图优化技术，提升算法计算效率

最新推荐文章于 2025-04-30 23:15:02 发布

昇腾CANN

最新推荐文章于 2025-04-30 23:15:02 发布

阅读量1.6k

点赞数 20

文章标签：算法人工智能

本文链接：https://blog.csdn.net/m0_71340392/article/details/140045122

版权

随着大模型时代的到来，AI算法的能力上限不断被刷新，算力门槛也在持续飙升，如何在有限的计算资源的条件下优化和训练模型显得尤其重要。面向计算图编译和运行优化场景，昇腾AI异构计算架构CANN（Compute Architecture for Neural Networks）开放GE（Graph Engine）图引擎，通过计算图优化、计算图下沉、内存复用和多流水并行等技术可将计算图执行性能提升20%，同时开放图引擎接口支持开发者自定义图结构，获得最优执行性能。

基于GE图引擎能力，昇腾已支持TensorFlow计算图模式，并原生支持PyTorch框架。开发者只需要使用PyTorch原生的torch.compile接口，昇腾AI处理器后端就会对PyTorch生成的计算图进行接管、转化为AIR，再进行端到端的图编译深度优化，降低内存需求、提升计算性能，同时最大程度减少开发者的修改工作。接下来，我们将分几期内容深度解读CANN的GE图引擎的诸多开放能力和关键技术，从而帮助开发者优化算法编译和运行效率。

1 Eager模式与图模式

当前业界主流的深度学习框架（例如PyTorch、TensorFlow等）都提供了Eager（Eager Execution，即时执行）模式与图模式。Eager模式的特点是每个计算操作下发后立即执行，图模式的特点是所有计算操作构造成一张图，以图的粒度下发执行。Eager模式的痛点在于没有图的全局视角，一些融合、优化手段无法高效开展。成图以后，编译器的视角更广，计算操作可以更好地化简、优化，从而获得更好的执行性能。

GE针对图进行了系列优化，包括通用的图优化技术“公共子表达式消除”、“剪枝”、“死边消除”，以及特有的Shape优化技术、内存优化技术等。下面对GE的图优化技术详细展开介绍。