【2023 · CANN训练营第一季】第一章昇腾AI基础知识介绍

将基于PyTorch的训川练脚本迁移到昇腾A处理器上进行训练，目前有以下3种方式：自动迁移（推荐）、工具迁移、手工迁移，且迁移前要保证该脚本能在GPU、CPU上运行。
1.自动迁移：训练时，在训练脚本中导入脚本转换库，导入后执行训练。训练脚本在运行的同时，会自动将脚本中的CUDA接口替换为异腾AI处理器支持的NPU接口。整体过程为：边训练边转换。
2.工具迁移：训练前，通过脚本迁移工具，自动将训练脚本中的CUDA接口替换为异腾A处理器支持的NPU接口，并生成迁移报告(脚本转换日志、不支持算子的列表、脚本修改记录)。训练时，运行转换后的脚本。整体过程
为：先转换脚本，再进行训川练。
3.手工迁移：算法工程师通过对模型的分析、GPU与NPU代码的对比进而对训川练脚本进行修改，以支持在昇腾AI。
处理器上执行训川练。迁移要点如下：
定义NPU为训练设备，或将适配GPU的接口切换至适配NPU的接口。
多卡迁移需修改芯片间通信方式为hccl

本章学习目标

1.了解CANN在异腾AI全栈架构中的位置和作用。
2.了解基于CANN的应用开发编程框架、基本概念。

异腾AI全栈可以分成四个大部分：
1.应用使能层面，此层面通常包含用于部署模型的软硬件，例如API、SDK、部署平台，模
型库等等。
2.AI框架层面，此层面包含用于构建模型的训练框架，例如华为的MindSpore、TensorFlo
w、Pytorch等。
3.异构计算架构，偏底层、偏通用的计算框架，用于针对上层框架的调用进行加速，力求
向上支持多种A框架，并在硬件上进行加速。
4.计算硬件，本层是A计算的底座，有了强力的芯片及硬件设备，上层的加速才有实施的基
础。

华为公司面向计算机视觉、自然语言处理、推荐系统、类机器人等领域量身打造了基于“达芬奇（DaVinci)架构”的昇腾(Ascend)AI处理器，开启了智能之旅。为提升用户开发效率和释放昇腾AI处理器澎湃算力，同步推出针对AI场景的异构计算架构CANN(Compute Architecture for Neural Networks),CANN通过提供多层次的编程接口，以全场景、低门槛、高性能的优势，支持用户快速构建基于Ascend平台的Al应用和业务。
昇腾Al异构计算架构(Compute Architecture for Neural Networks,CANN)被抽象成五层架构，如下
图所示。

1.昇腾计算语言接口
昇腾计算语言(Ascend Computing Language,AscendCL)接口是昇腾计算开放编程框架，是对低层昇腾计算服务接口的封装。它提供Device（设备）管理、Context（上下文）管理、Stream（流）管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理Graph（图）管理等API库，供用户开发人工智能应用调用。
2.异腾计算服务层
本层主要提供异腾计算库，例如神经网络(Neural Network,NN)库、线性代数计算库（Basic Linear Algebra Subprograms,BLAS)等；昇腾计算调优擎库，例如算子调优、子图调优、梯度调优、模型压缩以及A框架适配器。
3.昇腾计算编译引擎
本层主要提供图编译器(Graph Compiler)）和TBE(Tensor Boost Engine)算子开发支持。前者将用户输入中间表达(Intermediate Representation,IR)的计算图编译成NPU运行的模型。后者提供用户开发自定义算子所需的工具。
4.昇腾计算执行引擎
本层负责模型和算子的执行，提供如运行时(Runtime)库（执行内存分配、模型管理、数据收发等）、图执行器(Graph Executor)、数字视觉预处理（Digital Vision Pre-Processing,DVPP)、人工智能预处理(Artificial Intelligence Pre-Processing,AIPP)、华为集合通信库(Huawei Collective Communication Library,HCCL)等功能单元。
5.昇腾计算基础层
本层主要为其上各层提供基础服务，如共享虚拟内存(Shared Virtual Memory,SVM)、设备虚拟化(Virtual Machine,VM)、主机-设备通信（Host Device Communication,HDC)等。

AscendCL(Ascend Computing Language,昇腾计算语言)是昇腾计算开放编程框架，是对底层昇腾计算服务接口的封装，它提供运行时资源(例如设备、内存等)管理、模型加载与执行、算子加载与执行、图片数据编解码/裁剪/缩放处理等API库，实现在昇腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。简单来说，就是统一的AP框架，实现对所有资源的调用。

AscendCL的优势如下：
1.高度抽象：算子编译、加载、执行的API归一，相比每个算子一个API,AscendCL大幅减少API数量，降低复杂度。
2.向后兼容：AscendCL具备向后兼容，确保软件升级后，基于旧版本编译的程序依然可以在新版本上运行。
3.零感知芯片：一套AscendCL接口可以实现应用代码统一，多款昇腾处理器无差异。
AscendCL的主要应用场景如下：
1.开发应用：用户可以直接调用AscendCL提供的接口开发图片分类应用、目标识别应用等。
2.供第三方框架调用：用户可以通过第三方框架调用AscendCL接口，以便使用昇腾Al处理器的计算能力。
3.供第三方开发ib库：用户还可以使用AscendCL封装实现第三方ib库，以便提供昇腾AI处理器的运行管理、资源管理等能力。