【2023 CANN训练营第一季】第一章 昇腾AI基础知识介绍

第1节 昇腾AI全栈架构

昇腾 AI 全栈可以分成四个大部分：

1．应用使能层面，此层面通常包含用于部署模型的软硬件，例如 API 、 SDK 、部署平台，模型库等等。

2. AI 框架层面，此层面包含用于构建模型的训练框架，例如华为的 MindSpore 、

TensorFlow 、 Pytorch 等。

3．异构计算架构，偏底层、偏通用的计算框架，用于针对上层 AI 框架的调用进行加速，力求向上支持多种 AI 框架，并在硬件上进行加速。

4．计算硬件，本层是 AI 计算的底座，有了强力的芯片及硬件设备，上层的加速才有实施的基础。

第2节 异构计算架构CANN

华为公司面向计算机视觉、自然语言处理、推荐系统、类机器人等领域量身打造了基于"达芬奇（ DaVinci ）架构"的昇腾( Ascend ) AI 处理器，开启了智能之旅。为提升用户开发效率和释放昇腾 AI 处理器澎湃算力，同步推出针对 AI 场景的异构计算架构 CANN ( Compute Architecture for Neural Networks ), CANN 通过提供多层次的编程接口，以全场景、低门槛、高性能的优势，支持用户快速构建基于 Ascend 平台的 AI 应用和业务。

昇腾 AI 异构计算架构（ Compute Architecture for Neural Networks , CANN ）被抽象成五层架构。

1．异腾计算语言接口

异腾计算语言（ Ascend Computing Language , AscendCL ）接口是昇腾计算开放编程框架，是对低层昇腾计算服务接口的封装。它提供 Device （设备）管理、 Context （上下文）管理、 Stream （流）管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理、 Graph （图）管理等 API 库，供用户开发人工智能应用调用。

2．异腾计算服务层

本层主要提供异腾计算库，例如神经网络( Neural Network , NN ）库、线性代数计算库( Basic Linear Algebra Subprograms . BLAS )等；昇腾计算调优引擎库，例如算子调优、子图调优、梯度调优、模型压缩以及 AI 框架适配器。

3．昇腾计算编译引擎

本层主要提供图编译器（ Graph Compiler ）和 TBE ( Tensor Boost Engine ）算子开发支持。前者将用户输入中间表达（ Intermediate Representation , IR ）的计算图编译成 NPU 运行的模型。后者提供用户开发自定义算子所需的工具。

4．异腾计算执行引擎

本层负责模型和算子的执行，提供如运行时( Runtime ）库（执行内存分配、模型管理、数据收发等）、图执行器（ Graph Executor )、数字视觉预处理（ Digital Vision Pre - Processing , DVPP )、人工智能预处理( Artificial Intelligence Pre - Processing, AIPP )、华为集合通信库（ Huawei Collective Communication Library , HCCL ）等功能单元。

5．昇腾计算基础层

本层主要为其上各层提供基础服务，如共享虚拟内存（ Shared Virtual Memory , SVM )、设备虚拟化（ Virtual Machine , VM )、主机﹣设备通信（ Host Device Communication , HDC )等。

第3节 昇腾计算语言接口AscendCL

AscendCL ( Ascend Computing Language ，昇腾计算语言）

是昇腾计算开放编程框架，是对底层昇腾计算服务接口的封装，它提供运行时资源（例如设备、内存等）管理、模型加载与执行、算子加载与执行、图片数据编解码／裁剪／缩放处理等 API 库，实现在昇腾 CANN 平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。简单来说，就是统一的 API 框架，实现对所有资源的调用。

AscendCL 的优势如下：

1．高度抽象：算子编译、加载、执行的 API 归一，相比每个算子一个 API , AscendCL 大幅减少 AP 数量，降低复杂度。

2.向后兼容： AscendCL 具备向后兼容，确保软件升级后，基于旧版本编译的程序依然可以在新版本上运行。

3．零感知芯片：一套 AscendCL 接口可以实现应用代码统一，多款昇腾处理器无差异。 AscendCL 的主要应用场景如下：

1．开发应用：用户可以直接调用 AscendCL 提供的接口开发图片分类应用、目标识别应用等。

2．供第三方框架调用：用户可以通过第三方框架调用 AscendCL 接口，以便使用昇腾 AI 处理器的计算能力。

3.供第三方开发 lib 库：用户还可以使用 AscendCL 封装实现第三方 lib 库，以便提供昇腾 AI 处理器的运行管理、资源管理等能力。