基于香橙派昇腾310B的Ascend C算子开发学习笔记

已于 2024-07-17 20:40:05 修改
阅读量504 收藏 1
点赞数 4
文章标签： 学习 笔记
于 2024-07-17 19:23:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43319948/article/details/140503283
版权

0. 软硬件准备

本次学习实践是基于香橙派开发板进行的，板卡本身已经预设好了驱动与开发套件。若使用华为云进行实践的话，须首先手动配置环境

硬件

  • 香橙派开发板（昇腾310B）

软件

  • PC端：MobaXterm终端工具
  • 代码：Ascend C算子开发样例仓库
  • *驱动和工具包（华为云需）
    • A300-3010-npu-driver_23.0.0_linux-x86_64.run
    • Ascend-cann-nnrt_8.0.RC2.alpha002_linux-x86_64.run
    • Ascend-cann-toolkit_8.0.RC2.alpha002_linux-x86_64.run

1. 香橙派连接与设置

在这里插入图片描述

板卡连接步骤

  1. 通过网线连接PC与香橙派板卡
  2. 接入香橙派电源（右侧TypeC接口）
  3. 适配以太网
    • PC端IPv4配192.168.137.101）
    • Moba或SSH按192.168.137.100连接

2. AddCustom为例的算子开发说明

  • 算子功能描述：实现half类型的z=x+y向量加法操作
  • 算子开发调用方式
    1. KernelLaunch，适合快速开发、验证场景
    2. FrameworkLaunch，适合正式、完整算子工程场景

在这里插入图片描述

3. KernelLaunch调用

算子文件夹路径：~/samples/operator/AddCustomSample/KernelLaunch/AddCustom
KernelLaunch调用的核心代码为add_custom.cpp，该文件内定义了算子的描述与实现内容。
在这里插入图片描述

3.1 KernelAdd核心

KernelAdd算子核心是要实现初始化（Init）和处理（Process）两个函数。

初始化（Init）

主要任务包括：

  • Global Memory的Buffer设置
  • 流水线pipe的Buffer初始化

处理（Process）

主要任务包括：

  • 计算所需循环迭代步数
  • 执行迭代步按Stage流水步骤（CopyIn，Compute和CopyOut）处理数据
    在这里插入图片描述

3.2 Stage流水核心代码

Ascend C将算子开发过程进行了封装抽象，即将算子处理数据的流程划分为了CopyIn、Compute和CopyOut三个阶段。
三个阶段的指令发送异步进行，之间通过VECIN和VECOUT的进出队的方式实现同步。

Compute Stage

  • 流程
    • 从inQueueX和inQueueY获取x和y数据存xLocal和yLocal
    • 使用Add算子执行xLocal与yLocal的向量加法操作，结果存zLocal
    • 将zLocal数据写入outQueueZ
    • inQueueX和inQueueY释放Tensor（xLocal和yLocal）
      在这里插入图片描述

CopyIn Stage

  • 流程
    • inQueueX和inQueueY分配LocalTensor<half>（xLocal和yLocal）
    • 数据拷贝，将GlobalMemory中数据拷贝到片上Local Memory
    • 将Local Memory数据入队到inQueueX和inQueueY
      在这里插入图片描述

CopyOut Stage

  • 流程
    • outQueueZ出队zLocal数据
    • 将z数据从Local Memory拷贝到Global Memory
    • outQueueZ释放Tensor资源（zLocal）

在这里插入图片描述

3.3 算子调用验证

运行脚本：bash run.sh
若编译运行完，验证显示test pass则表示通过算子验证！

4. FrameworkLaunch调用

算子文件夹路径：~/samples/operator/AddCustomSample/FrameworkLaunch/AddCustom
FrameworkLaunch调用是完整算子工程的开发调用方式，其中算子开发与编译在AddCustom进行，经编译安装后的算子在AclNNInvocation中调用验证。
在这里插入图片描述

4.1 算子开发（AddCustom）

AddCustom算子开发需要分别编写实现host侧（op_host）和device侧（op_kernel）的代码。

在这里插入图片描述

Host侧（op_host）

  • add_cutsom_tiling.h
    • 设置总长度（totalLength）
    • 设置分片长度（tileNum）

在这里插入图片描述

  • add_custom.cpp
    • 填充tiling信息
    • 输入输出参数信息（数据类型，存储排布方式等）

在这里插入图片描述

Device侧（op_device）

同KernelLaunch调用的算子实现（add_custom.cpp）

编译安装

  • 运行脚本：bash run.sh
  • 安装算子：进入build_out文件夹，运行.run文件

4.2 算子调用（AclNNInvocation）

经过上节算子开发与编译安装后，可在算子工程中通过Acl调用算子以验证。

  • 运行脚本：bash run.sh
  • 若test pass则表示算子验证通过！

5. 注意事项

酱爆猪肝面
关注
OrangePi AIpro开发板，使用了310B，昇腾310B较于昇腾310有何性能提升？
pvmsmfchcs的博客
05-28 789
他们对应的模组分别是：Atlas 200 AI和Atlas 200I A2。310B：基本规格 - Atlas 200I A2 加速模块。310：基本规格 - Atlas 200 AI加速模块。OrangePi AIpro开发板。
香橙派 OrangePi AIpro 入手体验
羟基氟化宇的博客
05-30 1508
本文主要包括：开箱、NVME-SSD系统安装教程、SSH连接教程、固件更新步骤、硬件PWM&I2C简单测试、预留电池口安装测试、官方AI样例体验几个部分。
全爱科技Atlas-Pi AI开发套件产品规格
QuanAikj2018的博客
12-22 1914
Atlas-Pi开发者套件用于帮助开发者完成全功能、多形态的AI应用开发与设计评估，最大可提供20TOPS INT8的计算能力。Atlas-Pi开发者套件可以实现语音、图像与视频等多种数据分析与推理计算，可广泛用于智能监控、机器人、无人机、视频服务器等场景。Atlas 200I A2 加速模块集成了昇腾A310B AI处理器（Ascend 310B AI处理器），是面向边缘场景的AI加速模块。开发者套件上搭载的Atlas 200I A2 加速模块与独立销售的模块版本相同，可用于商用环境。
OrangePi AIpro 香橙派 昇腾 Ascend C算子开发 - 环境搭建
flyfish
08-29 795
flyfish
【环境部署系列 07】Ascend 310B（推理）Atlas 500 A2小站环境部署
Ascend的博客
07-28 2767
Atlas 500 A2小站，整体推理算力与上一代持平，CPU强于上一代，由4个TAISHANV200M处理器核组成；视频编解码能力，远优于上一代：支持H.264/H.265 Decoder硬件解码，40路1080P支持H.264/H.265 Encoder硬件编码，20路1080P。
【人工智能】基于香橙派AIpro和昇腾AI计算芯片的面部口罩检测(详细教程)
daisy.skye的博客
07-19 2061
在接触Orange Pi AIpro之前接触过香橙派家的H618开发板开发过小项目，整体的了解就是基于sunxi全志家的内核开发的，较早一点的还接触过瑞芯微的，行业里面也经常拿这两家的芯片做一些安卓话机，广告机之类的。最近看到香橙派的算力芯片当然要也体验一把啦！1.介绍开发板本文是一篇Orange Pi AIpro开发板的新手上手指导，详尽地从开发板的介绍、烧录、上电，直到开发板的使用、部署、成果、结论。首先来简单看一下开发板的外观以及都有哪些重要组件。图:开发板正面视图以及各组件介绍。
华为昇腾310B初体验，OrangePi AIpro开发板使用测评
刘墨苏的技术博客
05-27 4633
在这几天的体验OrangePi AiPro开发板的过程中，上手体验非常好，优点如下：官方提供的系统镜像已经做了很多预先的配置工作，可以更快上手。如默认开启的ssh、vnc服务等，内置的docker、conda、torch_npu、MindSpore等等，这对新手来说就少了很多配环境的折磨，可以更快的进入到AI应用的学习和实践。对于发布半年左右的开发板，提供的开发资料非常详细。用户手册写的非常详细了，对 Linux 内核源码包和Linux 镜像编译脚本都做了详细的说明。支持昇腾技术路线。
昇腾Ascend C算子开发––Sinh算子开发学习笔记
yuyi_forever的博客
07-03 498
我之前没有AI相关编程经验，因此第一次接触算子的概念，经过老师的讲解和文档的阅读，我将算子理解为一个进行运算的一个函数，这个函数使用aicore_函数类型限定符来标识该核函数在设备端AI Core 上执行，并且流程都十分相似:先进行初始化，接着核函数的实现分为3个基本任务:Copyln, Compute, CopyQut，而算子之间主要就是Compute 部分的不同，其次就是参数的不同。对应题目，本题主要解决的是核函数代码，Kernel侧代码、Host 侧代码，单算子调用时的代码。
昇腾Ascend TIK自定义算子开发教程（概念版）
IT菜鸟
09-09 1668
昇腾Ascend TIK自定义算子开发教程（概念版）
【CANN文档速递04期】揭秘昇腾CANN算子开发
m0_71340392的博客
09-21 597
本期我们主要带您了解CANN自定义算子的类型，编译、运行逻辑架构，以及算子的开发流程等，让您对CANN算子有宏观的了解。
昇腾Ascend C算子开发学习笔记
qq_68755869的博客
07-18 1211
在深度学习和高性能计算中，虽然现有的框架（如TensorFlow、PyTorch等）提供了丰富的内置算子，但某些特定场景下，开发者可能需要自定义算子以满足特殊需求。核函数（Kernel Function）是指在AI处理器（如华为Ascend AI处理器）上执行的函数，它通常负责在设备侧进行高效的并行计算。核函数是算子实现的核心部分，主要用于执行实际的计算任务。核心过程就是调用算子类的Init和Process函数。Process函数是算子的核心代码。
该仓库的样品基于Orangepi ai pro Ascend 310B平台，官方样品USB摄像头y
最新发布
10-03
该仓库的样品基于Orangepi ai pro Ascend 310B平台，官方样品USB摄像头yolov5物体检测已在ROS2环境中部署和优化_ Ascend_USBCamera_yolov5
yolov5在华为昇腾atlas上加速推理
05-31
该资源为yolov5在华为昇腾atlas上使用Ascend310芯片加速推理，属于c++后端开发，适合C++开发者在华为昇腾盒子上移植深度学习算法的博主们。 资源是demo形式，包含完整的一套代码，还有转好的离线模型文件和跑出的...
拥抱香橙派AIPro,解锁目标检测智慧算力
乐于分享，共同成长
05-21 766
拥抱香橙派AIPro,解锁目标检测智慧算力
文章一：华为晟腾310b的Atlas 200I A2加速模块进行视频的AI分析，硬件使用的是Oringepi alpro（推荐环境安装）
pvmsmfchcs的博客
05-28 510
Version”字段值表示NPU固件版本。本文中的NPU版本号表示NPU驱动版本。NPU ID表示设备编号，可通过npu-smi info。NPU驱动和固件版本可通过npu-smi info -t board -i NPU ID命令查询。回显信息中的“Software。mxVision使用依赖npu-driver驱动包、npu-firmware固件包和CANN开发套件包。Version”字段值表示NPU驱动版本，“Firmware。主要还是参考官方的安装步骤，
香橙派KunpengPro基础评测
m0_51339444的博客
05-30 170
OrangePiKunpengPro开发板是香橙派联合华为精心打造的高性能开发板，其 搭载了鲲鹏处理器，可提供8TOPSINT8计算能力，提供了8GB和16GB两种内存 版本。Kunpeng Pro开发板结合了鲲鹏全栈根技术，全面使能高校计算机系统教学和原生开发。同时支持FPGA+ARM，从体系结构、数字逻辑设计、操作系统和编译，再到嵌入式开发，可以基于同一套体系结构和一套开发板实现贯穿打通。
昇腾AI处理器硬件变更后自定义算子开发全流程解析：适配不同硬件的算子优化策略
qq_38334677的博客
09-26 50
算子开发准备：分析硬件变更后对算子的影响。算子原型定义修改：根据新硬件的需求调整原型定义。算子代码实现修改：针对不同计算接口进行代码调整。新增算子信息库：为新的硬件添加算子信息库定义。算子编译部署：编译自定义算子工程并部署到新的硬件环境中。系统测试（ST）：在真实硬件环境下测试算子的正确性。网络测试：将算子加载到完整模型中进行运行验证。根据上一步的分析结果，如果发现新硬件上的接口或数据类型存在差异，开发者需要修改算子的原型定义。
【2024昇腾&鲲鹏创新大赛集训营】异构计算框架CANN 及 Ascend C 自定义算子实现（昇腾篇学习笔记 -- 小白向）
weixin_42834975的博客
07-02 609
学习华为昇腾CANN异构计算架构Ascend C算子开发课程的笔记（适用零基础小白参考），主要介绍：一些基础概念（CANN、NPU、算子、Ascend C）；昇腾AI硬件简介；昇腾AI的并行计算方法；Ascend C算子开发的编程范式；算子开发流程和源码分析等。
CANN训练营第三季_昇腾CANN算子精讲课_TBE算子Sinh开发笔记_算子开发（二）
kxingaa2016的博客
12-21 840
TBE算子Sinh开发笔记第二部分：Sinh算子开发流程及部分代码。
南方测绘NTS-310B/R全站仪详细手册
南方测绘310系列全站仪是一款功能强大的专业测量设备，其NTS-310B/R型号在设计上融合了丰富的测量程序，如角度测量、距离测量、坐标测量等基础功能，同时也包含了悬高测量、偏心测量、对边测量、距离放样、坐标放样...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值