【AI系统】昇腾异构计算架构 CANN

最新推荐文章于 2025-03-17 11:09:37 发布
最新推荐文章于 2025-03-17 11:09:37 发布
阅读量1.9k 收藏 26
点赞数 8
文章标签： 人工智能 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37046057/article/details/144226210
版权

昇腾异构计算架构 CANN

本文将介绍昇腾 AI 异构计算架构 CANN（Compute Architecture for Neural Networks），这是一套为高性能神经网络计算需求专门设计和优化的架构。CANN 包括硬件层面的达·芬奇架构和软件层面的全栈支持，旨在提供强大的硬件基础和管理网络模型、计算流及数据流的软件栈，以支撑神经网络在异构处理器上的执行。

通过本文内容的学习，读者将能够理解 CANN 如何为深度学习提供全面的硬件和软件支持，以及如何通过其多层级架构实现高效的 AI 应用开发和性能优化。

总体架构

本节参考文献：《Ascend C 异构并行程序设计》——苏统华，杜鹏，闫长江，2024

昇腾 AI 异构计算架构（Compute Architecture for Neural Networks，CANN）是专门为高性能神经网络计算需求所设计和优化的一套架构。在硬件层面，昇腾 AI 处理器所包含的达·芬奇架构在硬件设计上进行计算资源的定制化设计，在功能实现上进行深度适配，为神经网络计算性能的提升提供了强大的硬件基础。在软件层面，CANN 所包含的软件栈则提供了管理网络模型、计算流以及数据流的功能，支撑起神经网络在异构处理器上的执行流程。

如下图所示，CANN 作为昇腾 AI 处理器的异构计算架构，支持业界多种主流的 AI 框架，包括 MindSpore、TensorFlow、PyTorch、Jittor 等。Ascend C 算子开发语言，开放全量低阶 API 接口使能开发者完成高性能自定义算子开发；开放高阶 API 接口，降低开发难度，开发者可快速实现复杂自定义算子开发。GE 图引擎（Graph Engine），包括图优化、图编译、图执行等，便于开发者使用，优化整网性能。HCCL 集合通信库（Huawei Collective Communication Library），可供开发者直接调用，改善网络拥塞，提升网络资源利用率和运维效率。AOL 算子加速库（Ascend Operator Library），提供基础算子和大模型融合算子 API 接口对外开放，供开发者直接调用，使能大模型极致性能优化。Runtime 运行时，将硬件资源（计算、通信、内存管理等）的 API 接口对外开放，满足开发者对模型开发、系统优化、第三方 AI 框架对接等不同场景诉求。

在这里插入图片描述

CANN 提供了功能强大、适配性好、可自定义开发的 AI 异构计算架构，自顶向下分为 5 部分。

在这里插入图片描述

昇腾计算语言（Ascend Computing Language，简称 AscendCL）：AscendCL 接口是昇腾计算开放编程框架，是对底层昇腾计算服务接口的封装。它提供设备（Device）管理、上下文（Context）管理、流（Stream）管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理、图（Graph）管理等 API 库，供用户开发 AI 应用。

昇腾计算服务层（Ascend Computing Service Layer）： 主要提供昇腾算子库 AOL（Ascend Operator Library），通用神经网络（Neural Network，NN）库、线性代数计算库（Basic Linear Algebra Subprograms，BLAS）等高性能算子加速计算；昇腾调优引擎 AOE（Ascend Optimization Engine），通过算子调优 OPAT、子图调优 SGAT、梯度调优 GDAT、模型压缩 AMCT 提升模型端到端运行速度。同时提供 AI 框架适配器 Framework Adaptor 用于兼容 TensorFlow、PyTorch 等主流 AI 框架。

昇腾计算编译层（Ascend Computing Compilation Layer）：昇腾计算编译层通过图编译器（Graph Compiler）将用户输入中间表达（Intermediate Representation，IR）的计算图编译成昇腾硬件可执行模型；同时借助张量加速引擎 TBE（Tensor Boost Engine）的自动调度机制，高效编译算子。

昇腾计算执行层（Ascend Computing Execution Layer）：负责模型和算子的执行，提供运行时库（Runtime）、图执行器（Graph Executor）、数字视觉预处理（Digital Vision Pre-Processing，DVPP）、 AI 预处理（Artificial Intelligence Pre-Processing，AIPP）、华为集合通信库（Huawei Collective Communication Library，HCCL）等功能单元。

昇腾计算基础层（Ascend Computing Base Layer）：主要为其上各层提供基础服务，如共享虚拟内存（Shared Virtual Memory，SVM）、设备虚拟化（Virtual Machine，VM）、主机-设备通信（Host Device Communication，HDC）等。

关键功能特性

推理应用开发

CANN 提供了在昇腾平台上开发神经网络应用的昇腾计算语言 AscendCL（Ascend Computing Language），提供运行资源管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等 API，实现利用昇腾硬件计算资源、在昇腾 CANN 平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。简单来说，就是统一的 API 框架，实现对所有资源的调用。

模型训练

CANN 针对训练任务提供了完备的支持，针对 PyTorch、TensorFlow 等开源框架网络模型，CANN 提供了模型迁移工具，支持将其快速迁移到昇腾平台。此外，CANN 还提供了多种自动化调测工具，支持数据异常检测、融合异常检测、整网数据比对等，帮助开发者高效问题定位。

算子开发

CANN 提供了超过 1400 个硬件亲和的高性能算子，可覆盖主流 AI 框架的算子加速需求，同时，为满足开发者的算法创新需求，CANN 开放了自定义算子开发的能力，开发者可根据自身需求选择不同的算子开发方式。

特性与优点

  1. 统一 APP 编程语言：提供一套标准的 AscendCL 编程接口，对应用程序开发者屏蔽底层多种芯片差异，提升用户 APP 编程易用性。

  2. 统一的网络构图接口：提供了标准的昇腾计算 AIR，支持多宽广，支持用户在昇腾处理器上快速部署神经网络业务。

  3. 高性能计算引擎及算子库：通过高性能编程引擎/执行引擎/调优引擎和预置高性能算子库，支持用户快速部署神经网络业务，降低部署成本并最大程度发挥昇腾计算能力。

  4. 基础业务：驱动、虚拟化、媒体、集合通信等能力。

CANN 各层面能力

CANN 包含许多硬件无关的优化，但是到 Low Level 优化层面，由于各家厂商芯片特点不同，每家芯片都存在一些硬件耦合的 Low Level 优化，CANN 也如此，通过 CANN，对上层保持用户使用界面的兼容和统一，尽可能让用户较少感知硬件差异，对下则根据不同代际芯片的特点提升能力。

在这里插入图片描述

昇腾计算语言

昇腾计算开放了编程框架，封装底层昇腾计算服务接口，提升编程易用性，该开放编程框架名字叫做 AscendCL（AscendCL Computing Language）。其中包含了三个部分：

  1. 应用开发接口

该系列接口提供深度学习推理计算、图形图像预处理以及单算子调用及加速能力，通过这些能力实现对昇腾硬件计算的调用。该系列接口通常用于开发离线推理应用，或供第三方框架调用以及供第三方系统开发 lib 调用。

  1. 图开发接口

该系列接口提供了统一的网络构图接口，支持多种框架调用，支持用户在昇腾 AI 处理器上快速部署神经网络业务。通过该系列接口可以支持基于算子原型进行构图，也可以利用 Parsar 进行神经网络解析输出 IR。

  1. 算子开发接口

该系列接口有一个单独的名称——Ascend C。Ascend C 是 CANN 在算子开发场景为开发者提供的编程语言，原生支持 C&C++标准规范，最大化匹配用户的开发习惯。Ascend C 支持结构化的核函数编程，自动流水并行调度以及 CPU/NPU 孪生调试等特性。

在这里插入图片描述

昇腾计算服务层

昇腾计算服务层是基于底层框架封装出来的一些能力集合，包含一套完善的昇腾算子库（Ascend Operator Library，AOL）以及调优工具的集合——昇腾调优引擎（Ascend Optimize Engine，AOE）。算子库中包含了 NN（Neural Network）算子库，BLAS（Basic Linear Algebra Subprograms）算子库，DVPP（Digital Vision Pre-Processing）算子库，AIPP（AI Pre-Processing）算子库，HCCL（Huawei Collective Communication Library）算子库以及融合算子库等，支持单个算子直接调用，也支持将算子集成到框架中进行调用。

昇腾调优引擎用于在推理、训练等场景对模型、算子、子图等进行调优，充分利用硬件资源，不断提升网络的性能。支持整图调优，调度调优，以及分布式场景下通信梯度的调优。调优是门槛相对较高的一项开发活动，以算子调优为例，需要开发者了解诸如片内高速缓存大小、数据搬运逻辑、调度策略等，人工调优是一项耗时耗力的工作，昇腾调优引擎通过将一些常见调优手段、分析方法固化到工具中，使开发者只需通过调优工具对模型进行分析，生成知识库，再运行模型时性能将有一定程度的提升。

在这里插入图片描述

昇腾计算编译层

昇腾计算编译层包含对计算图的编译和对算子的编译。向上可以与各类 AI 框架对接，为其提供构图接口，并通过提供各类解析器解析框架的计算图（比如 TensorFlow Parser）。解析好的 IR 在图编译阶段做一些计算无关的优化，如图准备（形状推导，常量折叠，死边消除等等），图优化（图融合、图切分、流水执行、缓存复用、算子引擎选择、cost model 建立等）、图编译（整图内存复用、连续内存分配、Task 生成等）。算子编译阶段负责 UB（Unified Buffer）融合，CCE-C 代码生成等。

在这里插入图片描述

昇腾计算执行层

包括 DVPP、Graph Executor、HCCL、AIPP 以及 Runtime 等组件。其中 Runtime 包含了对执行流管理、上下文管理、事件管理、任务管理以及其他资源申请及管理等能力。Graph Executor 中包含对计算图的加载和执行能力。HCCL 则包含对子通信域的管理，Rank 管理、梯度切分、集合通信等能力。DVPP 和 AIPP 则在两种不同维度上对数据做预处理操作。

在这里插入图片描述

昇腾计算基础层

昇腾计算基础层包含于驱动和 OS 相关的基础能力，包括资源管理（Resource Management Service，RMS）、通信管理（Communication Management Service，CMS）、设备管理（Device Management Service，DMS）、驱动（Driver，DRV）、公共服务（Utility）等组件。

其中 RMS 负责管理与调度昇腾设备的计算、Device 内存等关键资源；CMS 负责提供片内、片间高效通信；DMS 负责对昇腾设备进行配置、切分、升级、故障检测等管理；DRV 负责使能硬件；UTILITY 负责提供基础库和系统维测能力。

昇腾计算基础层提供的关键竞争力包括：

  1. 高性能：微秒级确定性调度，数据零拷贝登记书打造高性能数据面；

  2. 高可信：五道安全防线构建昇腾解决方案可信底座；

  3. 归一化：一套架构-接口-代码支持多芯、多板、多场景；

  4. 弹性：端/边/云灵活适应，虚机/容器/裸金属快速部署，算力细粒度按需切分。

如果您想了解更多AI知识，与AI专业人士交流，请立即访问昇腾社区官方网站https://www.hiascend.com/或者深入研读《AI系统：原理与架构》一书，这里汇聚了海量的AI学习资源和实践课程，为您的AI技术成长提供强劲动力。不仅如此，您还有机会投身于全国昇腾AI创新大赛和昇腾AI开发者创享日等盛事，发现AI世界的无限奥秘~

ZOMI酱
关注
基于昇腾AI异构计算架构CANN的通用目标检测与识别一站式方案初体验
qq_40679625的博客
06-10 3435
在计算机视觉领域，CANN最新开源的[通用目标检测与识别样例]，通过其强大的可定制、可扩展性，为AI开发者们提供了良好编程选择。大量模块化编程逻辑、可扩展配置，让开发者们像乐高搭积木一样，仅需进行简单的替换和定制，就能实现符合业务场景需求的高性能、企业级AI应用。......
澎湃算力 玩转AI 华为昇腾AI开发板——香橙派OriengePi AiPro边缘计算案例评测
dele
07-19 3261
澎湃算力 玩转AI 华为昇腾AI开发板——香橙派OriengePi AiPro边缘计算案例评测
CANN学习系列——昇腾AI core硬件架构的介绍及思考
m0_57868995的博客
03-13 969
昇腾AI core硬件架构的介绍及思考
华为CANN介绍及与英伟达 CUDA区别
最新发布
顺其自然~专栏
03-17 705
CANN和CUDA之间的主要区别在于它们针对的硬件、生态系统成熟度、跨平台能力和开发者资源。随着华为对CANN的持续投入和昇腾处理器的市场渗透，CANN的影响力和市场份额有望进一步扩大。然而，CUDA由于其历史和广泛的应用，仍然在高性能计算和AI领域占据主导地位。华为CANN介绍及与英伟达 CUDA区别 - 53AI-AI生产力的卓越领导者（大模型知识库|大模型训练|智能体开发）
OpenCL:一种异构计算架构
weixin_33994444的博客
07-02 524
目录 1 摘要 2 为什么需要OpenCL？ 3 OpenCL架构 3.1 介绍 3.2 平台模型 3.3 执行模型 3.3.1 内核 3.3.2 上下文 3.3.3 命令队列 3.4 内存模型 3.5 编程模型 4 基于OpenCL的编程示例 4.1 流程 4.2 图像旋转 4.2.1 图像旋转原理 4.3 实现...
【2024昇腾&鲲鹏创新大赛集训营】异构计算框架CANN 及 Ascend C 自定义算子实现（昇腾篇学习笔记 -- 小白向）
weixin_42834975的博客
07-02 1168
学习华为昇腾CANN异构计算架构Ascend C算子开发课程的笔记（适用零基础小白参考），主要介绍：一些基础概念（CANN、NPU、算子、Ascend C）；昇腾AI硬件简介；昇腾AI的并行计算方法；Ascend C算子开发的编程范式；算子开发流程和源码分析等。
华为昇腾异构计算架构CANN及AI芯片简介
冲冲冲！
06-13 5245
图1 CANN逻辑架构。
训练千亿参数模型的法宝，昇腾CANN异构计算架构来了~
华为云官方博客
08-31 1626
摘要：盘古的训练以「昇腾AI处理器」为基座，同时借助了「CANN 异构计算架构」，让硬件算力得以充分释放，大大缩短了训练时间！
【AI系统】昇腾 AI 处理器
ZOMI酱
11-27 2194
本文将会介绍华为昇腾 AI 处理器的架构与卷积加速原理。昇腾 AI 处理器是华为基于达芬奇架构专为AI计算加速而设计的处理器，它支持云边端一体化的全栈全场景解决方案，具有高能效比和强大的 3D Cube 矩阵计算单元，支持多种计算模式和混合精度计算。昇腾 AI 处理器的架构包括了 AI Core、AI CPU、多层级片上缓存/缓冲区和数字视觉预处理模块 DVPP，这些组件通过 CHI 协议的环形总线实现数据共享和一致性而组成的 SoC。
【昇腾AI-CANN训练营】Ascend C算子开发-学习记录帖
m0_46596861的博客
07-23 1463
此为华为昇腾AI训练营（南京站）授课内容，经个人整理发布为了更好的理解课程内容，建议读者有一定的计算机组成原理、编译原理学习基础提示：以下是本篇文章正文内容，笔者自行整理，欢迎批评指正！以上为训练营第一天的内容和任务，to be continued……
【2023·CANN训练营第一季】昇腾AI入门课（TensorFlow）学习总结
我行我素~超越自己~
04-12 322
通过学习了解昇腾AI全栈架构及架构中各层的作用，了解异构计算架构CANN在昇腾AI全栈中的位置和作用。学习TensorFlow 是一款先进的开源库，旨在开发和部署先进的机器学习应用程序。
华为 CANN
天道酬勤
05-31 3204
CANN 是华为推出的计算架构。NVIDIA 成功的的关键是创建了 CUDA 计算架构。国内目前有希望追上 CUDA 的，就是华为的 CANN。
昇腾架构及编程模型解读-I
mengzhihan01的博客
07-05 3508
计算单元是AI Core中提供强大算力的核心单元，相当于AI Core的主力军，主要包括：Cube Unit（矩阵计算单元）、Vector Unit（向量计算单元）和Scalar Unit（标量计算单元），完成AI Core中不同类型的数据计算。Ascend C编程范式把算子内部的处理程序，分成多个流水任务（Stage），以张量（Tensor）为数据载体，以队列（Queue）进行任务之间的通信与同步，以内存管理模块（Pipe）管理任务间的通信内存。不同的流水任务之间存在数据依赖，需要进行数据传递。
华为AI战略的CANN
小白菜的博客
08-15 9305
—异构计算架构（CANN）是对标英伟达的CUDA + CuDNN的核心软件层，向上支持多种AI框架，向下服务AI处理器，发挥承上启下的关键作用，是提升昇腾AI处理器计算效率的关键平台主要包括有各种等。之所以叫异构软件，是因为承载计算的底层硬件包括和，自然就需要有一层软件来负责，最后自动分配到对应的硬件上（CPU或NPU，注：昇腾处理器一般也叫NPU），因此叫异构。
玩转CANN目标检测与识别一站式方案【介绍篇】
qq_40679625的博客
07-17 705
了解通用目标检测与识别一站式方案的功能与特性，还有实现流程，以及可定制点。
【昇思25天学习打卡营打卡指南-第一天】基本介绍与快速入门
JeffDing
06-19 1130
昇思MindSpore是一个全场景深度学习框架，旨在实现易开发、高效执行、全场景统一部署三大目标。其中，易开发表现为API友好、调试难度低；高效执行包括计算效率、数据预处理效率和分布式训练效率；全场景则指框架同时支持云、边缘以及端侧场景。ModelZoo（模型库）：ModelZoo提供可用的深度学习算法网络，也欢迎更多开发者贡献新的网络(ModelZoo地址MindSpore Extend（扩展库）
昇腾AI异构计算架构CANN——高效使能AI原生创新
m0_71340392的博客
09-23 2280
描述异构计算与人工智能的关系以及昇腾AI异构计算架构CANN；介绍开发者如何利用CANN的原生能力进行大模型创新，构筑差异化竞争力。
【昇腾CANN训练营】模型营-Week1-CANN及MindSpore入门介绍-实验题
qq_46256029的博客
07-05 766
没想到人生第一次写CSDN博客，竟是“被逼无奈”，为了烘托社团氛围，大三老阿姨也是豁出去了... -------------------------------------------------------我是分割线----------------------------------------------------------- 先把题目放上: 客观题就不再赘述，只要看了直播，应该都能回答出来。 实验部分的内容其实在直播中，主讲人也已经给出提示了，自己稍加琢磨一下还是能做出来滴~ 这里就
华为升腾部署yolov5
03-13
<think>好的，我现在需要在华为升腾平台上部署YOLOv5模型。首先，我需要了解整个流程是怎样的。根据用户提供的引用内容，特别是引用[2]中提到，华为的CANN库对标的是NVIDIA的CUDA，所以安装CANN后可以使用PyTorch，但需要将模型转换为华为的OM模型。这可能涉及到模型转换工具ATC的使用。 接下来，引用[3]中的例子提到了在OrangePi AIPro上进行YOLOv5的部署，使用了预训练的pt文件，然后通过predict.py运行检测。这说明部署过程可能包括将PyTorch模型转换为昇腾支持的格式，然后使用特定的推理脚本。 首先，我需要确认环境准备。根据引用[2]，昇腾处理器需要安装CANN套件，并且支持PyTorch框架。因此，第一步应该是安装CANN和相关依赖。然后，需要获取YOLOv5的源码，并确保其适配昇腾平台，可能需要修改部分代码或使用昇腾提供的库。 接下来是模型转换。用户提到的atc工具，这是将模型转换为OM格式的关键步骤。YOLOv5的PyTorch模型（.pt）需要先导出为ONNX格式，然后再通过ATC转换为OM模型。这里需要注意是否有特定的操作符或层需要调整，以适应昇腾的硬件。 然后，部署和推理阶段。引用[3]中的示例使用predict.py脚本，但昇腾平台上可能需要使用不同的推理接口，比如使用昇腾的ACL（Ascend Computing Language）或者PyTorch的昇腾后端。需要查看昇腾的文档，确定如何加载OM模型并进行推理。 此外，性能优化也是一个考虑点。昇腾平台可能有特定的优化建议，比如模型量化、图优化等，这些在引用[1]中提到的YOLOv5 Ascend项目可能有相关实现。需要参考项目仓库的说明，应用这些优化方法。 可能遇到的问题包括模型转换失败，某些层不支持，或者推理时性能不佳。需要查阅昇腾的文档和社区，寻找解决方案，或者调整模型结构。例如，在模型转换时，可能需要添加特定的配置参数，或者修改模型的某些部分以适应ATC工具的要求。 总结步骤大致为：环境准备→模型转换→部署推理→性能优化。需要逐步检查每个环节，确保符合昇腾平台的要求，并参考提供的引用中的具体操作，如使用ATC工具转换模型，运行预测脚本等。</think>在华为昇腾AI处理器上部署YOLOv5模型的流程可分为以下步骤： --- ### **一、环境准备** 1. **安装CANN套件** 华为昇腾平台需安装异构计算架构CANN（Compute Architecture for Neural Networks），提供昇腾处理器的驱动和AI框架支持。安装完成后，PyTorch等框架可直接调用昇腾硬件资源[^2]。 2. **配置Python环境** 建议使用昇腾官方推荐的Python版本（如Python 3.7+），并安装依赖库： ```bash pip install torch numpy opencv-python ``` --- ### **二、模型转换** 1. **导出YOLOv5模型为ONNX格式** 使用YOLOv5官方脚本将预训练模型（`.pt`文件）导出为ONNX格式： ```bash python export.py --weights yolov5s.pt --include onnx --opset 12 ``` 2. **使用ATC工具转换为OM模型** 昇腾的`atc`工具用于将ONNX模型转换为昇腾专用的离线模型（`.om`文件）： ```bash atc --model=yolov5s.onnx --framework=5 --output=yolov5s_om --input_format=NCHW --soc_version=Ascend310 ``` *注意：需根据具体昇腾芯片型号（如Ascend 310/910）调整`soc_version`参数。* --- ### **三、部署与推理** 1. **加载OM模型并执行推理** 使用昇腾提供的ACL（Ascend Computing Language）接口或PyTorch昇腾后端进行推理。示例代码片段： ```python import torch from ais_bench.infer.interface import InferSession # 初始化昇腾推理会话 session = InferSession(device_id=0, model_path="yolov5s_om.om") # 预处理输入数据 input_data = preprocess(image) # 执行推理 outputs = session.infer([input_data]) # 后处理输出结果 detections = postprocess(outputs) ``` 2. **运行目标检测脚本** 参考引用[3]中的方法，使用昇腾优化的预测脚本： ```bash python segment/predict.py --weights ~/yolov5s_om.om --data huawei.jpg ``` --- ### **四、性能优化建议** - **启用混合精度**：在模型转换时添加`--precision_mode allow_fp32_to_fp16`以启用FP16加速。 - **使用AOE调优工具**：通过自动优化引擎（AOE）对OM模型进行性能调优。 - **多线程推理**：利用昇腾处理器的多核并行能力提升吞吐量[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值