【2023·CANN训练营第一季】昇腾Al计算平台CANN的逻辑架构

本文旨在浅析昇腾Al计算平台CANN的逻辑架构

CANN平台

昇腾Al计算为我们提供了一个平台，叫做CANN (Compute Architecture for Neural Network)

“专门为神经网络设计的计算框架”

CANN平台由计算加速库、芯片算子库和高度自动化的算子开发工具等组成

CANN逻辑架构

CANN平台的逻辑架构

芯片使能层

实现解决方案对外能力开放，以及基于计算图的业务流的控制和运行。

芯片使能层的逻辑架构

• AscendCL昇腾计算语言库

  开放编程框架，提供Device/Context/Stream/內存等的管理、**模型及算子的加载与执行、媒体数据处理、Graph管理**等API库，供用户开发深度神经网络应用。

• 图优化和编译

  统一的IR接口对接不同前端，支持TensorFlow/Caffe/MindSpore表达的计算图的解析/优化/编译，提供对后端计算引最优化部署能力。

  • Graph Engine：图编译和运行的控制中心
  • Fusion Engine：管理算子融合规则
  • AICPU Engine： AICPU算子信息管理
  • HCCL: HCCL算子信息管理

• 算子编译和算子库

  • TBE：编译生成算子及算子开发工具
  • 算子库：神经网络加速库

• 数字视觉预处理

  实现视频编解码(VENC/DEC)、JPEG编解(JPEGD/E)、 PNG解码(PNGD)、VPC(预处理）

• 执行引擎

  • Runtime：为神经网络的任务分配提供资源管理通道
  • Task Scheduler：计算图Task序列的管理和调度、执行

计算资源层

主要实现系统对数据的处理和对数据的运算执行。

计算资源层的逻辑架构

• 计算设备

  • Al Core：执行NN类算子
  • AI CPU: 执行CPU算子
  • DVPP： 视频/图像编解码、预处理

• 通信链路

  • PCle：芯片间或芯片与CPU间高速互联
  • HCCS：实现芯片间缓存一致性功能
  • RoCE：实现芯片内存 RDMA功能

应用层

包括基于Ascend平台开发的各种应用，以及Ascend提供给用户进行算法开发、调优的应用类工具。

应用层的逻辑架构

• 推理应用

  基于AscendCL捉供的APl构建推理应用

• Al框架

  包括Tensorflow、Caffe、 Mindspore以及第三方框架

• 模型小型化工具

  实现对模型进行量化，加速模型

• AutoML工具

  基于MindSpore自动学习工具，根据昇腾芯片特点进行搜索生成亲和性网络，充分发挥昇腾性能

• 加速库

  基于AscendCL构建的加速库 （当前支持Blas加速库）

• MindStudio

  提供给开发者的集成开发环境和调试工具，可以通过MindStudio进行离线模型转换、离线推理算法应用开发调试、算法调试、自定义算子开发和调试、日志查看、性能调优、系统故障查看等