基于香橙派昇腾310B的Ascend C算子开发学习笔记

已于 2024-07-17 20:40:05 修改
阅读量1.5k 收藏 3
点赞数 4
文章标签： 学习 笔记
于 2024-07-17 19:23:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43319948/article/details/140503283
版权

0. 软硬件准备

本次学习实践是基于香橙派开发板进行的，板卡本身已经预设好了驱动与开发套件。若使用华为云进行实践的话，须首先手动配置环境

硬件

  • 香橙派开发板（昇腾310B）

软件

  • PC端：MobaXterm终端工具
  • 代码：Ascend C算子开发样例仓库
  • *驱动和工具包（华为云需）
    • A300-3010-npu-driver_23.0.0_linux-x86_64.run
    • Ascend-cann-nnrt_8.0.RC2.alpha002_linux-x86_64.run
    • Ascend-cann-toolkit_8.0.RC2.alpha002_linux-x86_64.run

1. 香橙派连接与设置

在这里插入图片描述

板卡连接步骤

  1. 通过网线连接PC与香橙派板卡
  2. 接入香橙派电源（右侧TypeC接口）
  3. 适配以太网
    • PC端IPv4配192.168.137.101）
    • Moba或SSH按192.168.137.100连接

2. AddCustom为例的算子开发说明

  • 算子功能描述：实现half类型的z=x+y向量加法操作
  • 算子开发调用方式
    1. KernelLaunch，适合快速开发、验证场景
    2. FrameworkLaunch，适合正式、完整算子工程场景

在这里插入图片描述

3. KernelLaunch调用

算子文件夹路径：~/samples/operator/AddCustomSample/KernelLaunch/AddCustom
KernelLaunch调用的核心代码为add_custom.cpp，该文件内定义了算子的描述与实现内容。
在这里插入图片描述

3.1 KernelAdd核心

KernelAdd算子核心是要实现初始化（Init）和处理（Process）两个函数。

初始化（Init）

主要任务包括：

  • Global Memory的Buffer设置
  • 流水线pipe的Buffer初始化

处理（Process）

主要任务包括：

  • 计算所需循环迭代步数
  • 执行迭代步按Stage流水步骤（CopyIn，Compute和CopyOut）处理数据
    在这里插入图片描述

3.2 Stage流水核心代码

Ascend C将算子开发过程进行了封装抽象，即将算子处理数据的流程划分为了CopyIn、Compute和CopyOut三个阶段。
三个阶段的指令发送异步进行，之间通过VECIN和VECOUT的进出队的方式实现同步。

Compute Stage

  • 流程
    • 从inQueueX和inQueueY获取x和y数据存xLocal和yLocal
    • 使用Add算子执行xLocal与yLocal的向量加法操作，结果存zLocal
    • 将zLocal数据写入outQueueZ
    • inQueueX和inQueueY释放Tensor（xLocal和yLocal）
      在这里插入图片描述

CopyIn Stage

  • 流程
    • inQueueX和inQueueY分配LocalTensor<half>（xLocal和yLocal）
    • 数据拷贝，将GlobalMemory中数据拷贝到片上Local Memory
    • 将Local Memory数据入队到inQueueX和inQueueY
      在这里插入图片描述

CopyOut Stage

  • 流程
    • outQueueZ出队zLocal数据
    • 将z数据从Local Memory拷贝到Global Memory
    • outQueueZ释放Tensor资源（zLocal）

在这里插入图片描述

3.3 算子调用验证

运行脚本：bash run.sh
若编译运行完，验证显示test pass则表示通过算子验证！

4. FrameworkLaunch调用

算子文件夹路径：~/samples/operator/AddCustomSample/FrameworkLaunch/AddCustom
FrameworkLaunch调用是完整算子工程的开发调用方式，其中算子开发与编译在AddCustom进行，经编译安装后的算子在AclNNInvocation中调用验证。
在这里插入图片描述

4.1 算子开发（AddCustom）

AddCustom算子开发需要分别编写实现host侧（op_host）和device侧（op_kernel）的代码。

在这里插入图片描述

Host侧（op_host）

  • add_cutsom_tiling.h
    • 设置总长度（totalLength）
    • 设置分片长度（tileNum）

在这里插入图片描述

  • add_custom.cpp
    • 填充tiling信息
    • 输入输出参数信息（数据类型，存储排布方式等）

在这里插入图片描述

Device侧（op_device）

同KernelLaunch调用的算子实现（add_custom.cpp）

编译安装

  • 运行脚本：bash run.sh
  • 安装算子：进入build_out文件夹，运行.run文件

4.2 算子调用（AclNNInvocation）

经过上节算子开发与编译安装后，可在算子工程中通过Acl调用算子以验证。

  • 运行脚本：bash run.sh
  • 若test pass则表示算子验证通过！

5. 注意事项

OrangePi AIpro开发板，使用了310B，昇腾310B较于昇腾310有何性能提升？
pvmsmfchcs的博客
05-28 2985
他们对应的模组分别是：Atlas 200 AI和Atlas 200I A2。310B：基本规格 - Atlas 200I A2 加速模块。310：基本规格 - Atlas 200 AI加速模块。OrangePi AIpro开发板。
深入解析FlashAttention算子开发中的性能调优：基于Ascend C算子开发的高效实践
qq_38334677的博客
09-25 183
本文分析的FlashAttentionScoreGrad算子是的反向计算部分，在深度学习的训练场景下，用于计算注意力机制中的梯度。该公式中的关键操作包括矩阵乘法、softmax、掩码处理等，而在反向传播时，需要针对正向计算结果进行梯度的计算，具体的反向公式较为复杂。重计算p：重新计算softmax结果，得到中间结果p。计算dp：计算matmul和dropout后的结果dp。计算ds：将dy和attention_in结合，减去dp，得到ds。计算dq：ds与key做matmul，得到结果dq。
华为昇腾310B初体验，OrangePi AIpro开发板使用测评
热门推荐
刘墨苏的技术博客
05-27 1万+
在这几天的体验OrangePi AiPro开发板的过程中，上手体验非常好，优点如下：官方提供的系统镜像已经做了很多预先的配置工作，可以更快上手。如默认开启的ssh、vnc服务等，内置的docker、conda、torch_npu、MindSpore等等，这对新手来说就少了很多配环境的折磨，可以更快的进入到AI应用的学习和实践。对于发布半年左右的开发板，提供的开发资料非常详细。用户手册写的非常详细了，对 Linux 内核源码包和Linux 镜像编译脚本都做了详细的说明。支持昇腾技术路线。
昇腾310B系列（芯片、核心板、开发板）（8T/20T）算力主板定制方案参考
最新发布
topqing2011的博客
03-14 1719
昇腾，310B，20T算力，算力核心板，算力主板
昇腾310B AI智能模块支持 20TOPS INT8 计算能力支持 40 路 1080P@30FPS 或 4 路 4K@75FPS
2403_88922712的博客
11-28 6282
模块是基于昇腾 310B 系列 AI 处理器设计而成，310B 芯片是一款高性能、低功耗的人 工智能处理器，采用华为自研的达芬奇架构，集成了多种运算单元，支持多种混合精度计算，可实 现图像、视频等多种数据分析与推理计算。视频解码，最大支持 20TOPS INT8 计算能力，广泛应用于机器人、无人机、无人车、工业设备等。● 支持 4×I2C、 4×UART、 3×CAN、GPIO 若干等扩展接口。eMMC 64GB（用于存储 OS 和应用软件）
【环境部署系列 07】Ascend 310B（推理）Atlas 500 A2小站环境部署
Ascend的博客
07-28 4519
Atlas 500 A2小站，整体推理算力与上一代持平，CPU强于上一代，由4个TAISHANV200M处理器核组成；视频编解码能力，远优于上一代：支持H.264/H.265 Decoder硬件解码，40路1080P支持H.264/H.265 Encoder硬件编码，20路1080P。
昇腾Ascend C算子开发––Sinh算子开发学习笔记
yuyi_forever的博客
07-03 1124
我之前没有AI相关编程经验，因此第一次接触算子的概念，经过老师的讲解和文档的阅读，我将算子理解为一个进行运算的一个函数，这个函数使用aicore_函数类型限定符来标识该核函数在设备端AI Core 上执行，并且流程都十分相似:先进行初始化，接着核函数的实现分为3个基本任务:Copyln, Compute, CopyQut，而算子之间主要就是Compute 部分的不同，其次就是参数的不同。对应题目，本题主要解决的是核函数代码，Kernel侧代码、Host 侧代码，单算子调用时的代码。
【昇腾AI-CANN训练营】Ascend C算子开发-学习记录帖
m0_46596861的博客
07-23 1450
此为华为昇腾AI训练营（南京站）授课内容，经个人整理发布为了更好的理解课程内容，建议读者有一定的计算机组成原理、编译原理学习基础提示：以下是本篇文章正文内容，笔者自行整理，欢迎批评指正！以上为训练营第一天的内容和任务，to be continued……
基于Ascend C的FlashAttention算子性能优化最佳实践
m0_71340392的博客
06-07 1027
针对FlashAttention反向融合算子的性能优化方案展开介绍，并通过优化实现了典型场景4倍左右的性能提升，希望对开发者优化此类基于Ascend C开发的融合算子带来启发。
该仓库的样品基于Orangepi ai pro Ascend 310B平台，官方样品USB摄像头y
10-03
Orangepi ai pro Ascend 310B平台是一个基于开源硬件设计的开发板，它集成了华为的Ascend 310B AI处理器，这个处理器专为边缘计算场景设计，具备较强的AI算力，能够执行高效的机器学习推理任务。在该平台上部署的...
基于香橙派AI PRO的千问大模型适配实战分享
Byyyi耀的博客
10-03 1389
基于香橙派AI PRO的千问大模型适配实战分享
昇腾Ascend C算子开发大作业（实现自定义算子）
小怡包子的博客
12-17 749
Ascendc自定义算子实现过程
昇腾Ascend TIK自定义算子开发教程（概念版）
IT菜鸟
09-09 2210
昇腾Ascend TIK自定义算子开发教程（概念版）
【CANN文档速递04期】揭秘昇腾CANN算子开发
m0_71340392的博客
09-21 698
本期我们主要带您了解CANN自定义算子的类型，编译、运行逻辑架构，以及算子的开发流程等，让您对CANN算子有宏观的了解。
昇腾Ascend C算子开发学习笔记
qq_68755869的博客
07-18 2142
在深度学习和高性能计算中，虽然现有的框架（如TensorFlow、PyTorch等）提供了丰富的内置算子，但某些特定场景下，开发者可能需要自定义算子以满足特殊需求。核函数（Kernel Function）是指在AI处理器（如华为Ascend AI处理器）上执行的函数，它通常负责在设备侧进行高效的并行计算。核函数是算子实现的核心部分，主要用于执行实际的计算任务。核心过程就是调用算子类的Init和Process函数。Process函数是算子的核心代码。
昇腾AI处理器硬件变更后自定义算子开发全流程解析：适配不同硬件的算子优化策略
qq_38334677的博客
09-26 235
算子开发准备：分析硬件变更后对算子的影响。算子原型定义修改：根据新硬件的需求调整原型定义。算子代码实现修改：针对不同计算接口进行代码调整。新增算子信息库：为新的硬件添加算子信息库定义。算子编译部署：编译自定义算子工程并部署到新的硬件环境中。系统测试（ST）：在真实硬件环境下测试算子的正确性。网络测试：将算子加载到完整模型中进行运行验证。根据上一步的分析结果，如果发现新硬件上的接口或数据类型存在差异，开发者需要修改算子的原型定义。
【2024昇腾&鲲鹏创新大赛集训营】异构计算框架CANN 及 Ascend C 自定义算子实现（昇腾篇学习笔记 -- 小白向）
weixin_42834975的博客
07-02 1135
学习华为昇腾CANN异构计算架构Ascend C算子开发课程的笔记（适用零基础小白参考），主要介绍：一些基础概念（CANN、NPU、算子、Ascend C）；昇腾AI硬件简介；昇腾AI的并行计算方法；Ascend C算子开发的编程范式；算子开发流程和源码分析等。
CANN训练营第三季_昇腾CANN算子精讲课_TBE算子Sinh开发笔记_算子开发（二）
kxingaa2016的博客
12-21 989
TBE算子Sinh开发笔记第二部分：Sinh算子开发流程及部分代码。
华为升腾310b 用户权限
02-19
### 华为昇腾310B 用户权限设置与管理 对于华为昇腾310B的用户权限设置与管理，主要涉及几个方面： #### 一、创建专用用户组和用户 为了安全性和资源隔离，在使用Ascend 310B之前应该创建专门用于运行AI应用和服务的Linux用户和用户组。这可以通过`groupadd` 和 `useradd` 命令实现。 ```bash sudo groupadd aiusers sudo useradd -m -g aiusers aiadmin ``` 上述命令会建立名为aiusers的新群组以及属于该群组下的新成员aiadmin[^4]。 #### 二、配置文件权限 确保只有授权人员能够访问重要的系统目录和文件。通常情况下，/etc/atlas目录下包含了多个配置项，这些都应被严格保护起来不让普通用户随意更改。通过调整相应路径上的读写属性来达到目的: ```bash sudo chown root:root /etc/atlas/ sudo chmod og-rwx /etc/atlas/* ``` 此操作将使/etc/atlas及其内部所有条目仅限超级管理员可编辑。 #### 三、设定环境变量 为了让特定用户的shell session自动加载必要的库函数和其他辅助程序，可以在其个人home folder中的.bashrc或者其他初始化脚本里加入export语句指向Ascend SDK的位置。 ```bash echo 'export ASCEND_HOME=/usr/local/Ascend' >> ~/.bashrc source ~/.bashrc ``` 这样每次登录时都会把ASCEND_HOME设成指定值以便后续调用SDK接口时不需重复输入完整路径。 #### 四、授予执行权限给安装包 当从官方渠道获得预编译好的工具链压缩包后（如ascend-cann-toolkit），可能需要赋予它们+x标志才能顺利启动安装流程。 ```bash chmod +x ascend-cann-toolkit*.run ./ascend-cann-toolkit*.run ``` 以上步骤有助于顺利完成软件部署过程而不受权限不足的影响[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值