华为CANN训练营笔记——应用开发全流程 [2]（with 代码版）

已于 2022-08-25 19:16:42 修改
阅读量1.1k 收藏 4
点赞数 1
分类专栏： Ascend CANN 文章标签： 华为 华为云 计算机视觉 深度学习 人工智能
于 2022-08-25 19:15:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56945333/article/details/126530856
版权
Ascend 同时被 2 个专栏收录
10 篇文章 4 订阅
订阅专栏
CANN
10 篇文章 4 订阅
订阅专栏

1.3 ACL运行资源管理

包含物理资源和逻辑资源。

1.3.1 运行资源管理概述

按顺序申请：Device -> Context -> Stream，然后根据实际需求调用aclrtGetRunMode接口获取软件栈的运行模式(当同一个应用既支持在Host运行，也支持在Device运行时，在编程时需要就需要根据运行模式来判断后续的接口调用逻辑，这时需要提前获取运行模式。)。

在这里插入图片描述

  • 显示指定Device：调用aclrtSetDevice接口
    • 显示创建Context和Stream：调用aclrtCreateContext和aclrtCreateStream
    • 不显示创建二者：系统会默认的使用Context和Stream。二者是在调用aclreSetDevice是隐式创建的，默认Context和默认Stream作为接口入参时，传入NULL即可。
  • 不显示指定Device：调用aclrtCreateContext和alcrtCreateStream显示创建Context与Stream。系统在显示创建Context时，会调用aclrtSetDevice接口指定运行的Device，Device ID通过aclrtCreateContext传入

aclrtGetRunMode判断进程是在Device还是HOST上。如果HOST上，需要进行HOST和Device之间的数据传输；进程部署在Device上则不需要。

Device是物理硬件；Context是逻辑上的资源集合；Stream控制异步进程

一个Context对应一个唯一Device。切换Device时直接setcardcontext。
在这里插入图片描述

接口命名规则

在这里插入图片描述

1.3.2 Device管理

参数带 * （传入指针）表示是输出；不带 * （传入变量）表示是输入

aclError aclrtGetDeviceCount(uint32_t *count)：获取当前可用device数量

aclError aclrtGetRunMode(aclrtRunMode *runMode)：获取运行模式。runMode是枚举类型，0表示Device的CPU上；1表示HOST的CPU上

aclError aclrtSetDevice(int32_t deviceId)：指定运算的Device并隐式创建Context和Stream。

此处会产生一个默认的Stream。

  • 可在进程或线程中指定用于运算的Device，若多次调用aclrtSetDevice接口指定同一个Device，仅需调用一次acrtResetDevice接口复位Device。
  • 在不同进程或线程中可指定同一个Device用于运算。
  • 在某一进程中指定Device，该进程内的多个线程可共用此Device显式创建Context (aclrtCreateContext接口)
  • 多Device场景下，可在进程中通过acIrtSetDevice接口切换到其它Device。

aclError aclrtResetDevice(int32_t deviceld)：释放Device资源。释放Event/显式创建的Stream→释放显式创建的Context→>ResetDevice

aclError aclrtGetDevice(int32_t deviceld)：获取正在运行的Device ID

Device Demo

ret表示函数的返回错误代码

# include <iostream>
# include "acl/acl.h"
# define INFO_LOG(fmt, args...) fprintf(stdout, "[INFO] " fmt "\n", ##args)
# define WARN_LOG(fmt, args...) fprintf(stdout, "[WARN] " fmt "\n", ##args)
# define ERROR_LOG(fmt, args...) fprintf(stdout, "[ERROR] " fmt "\n", ##args)
using namespace std;

int main(){
	/*
		ACL初始化和销毁步骤不变，中间扩增Device申请与销毁代码
	*/
	INFO_LOG("HELLO WORLD");
	// ACL初始化
	const char *aclConfigPath = "acl.json";
	aclError ret = aclInit(aclConfigPath);
	if (ret != ACL_ERROR_NONE){	// 判断初始化成功
		ERROR_LOG("acl init failed");
	}
	INFO_LOG("acl init success");
	
	
	// 获取有多少Device
	uint32_t count;	
	ret = aclrtGetDeviceCount(&count) ; 
	INFO_LOG( "Device count: %d", count);
	
	// 指定Device
	ret = aclrtSetDevice(0); 
	INFO_LOG( "set device 0 success." );
	
	// 查看当前Device
	int32_t deviceId;
	ret = aclrtGetDevice(&deviceId);
	INFO_LOG( "current deviceID:%d", deviceId);
	
	ret = aclrtSetDevice(1);
	INFO_LOG( "set device 1 success." );
	ret = aclrtGetDevice(&deviceId);
	INFO_LOG( "current deviceID: %d" , deviceId);
	
	// 查看运行模式
	aclrtRunMode runMode;
	ret = aclrtGetRunMode(&runMode);
	INFO_LOG( "current run mode: %d . ", runMode );
	
	// 复位Device
	ret = aclrtResetDevice(0);
	INFO_LOG( "Reset device 0 success." );
	ret = aclrtResetDevice(1);
	INFO_LOG( "Reset device 1 success. " );
	
	ret = aclFinalize();
	// ACL销毁
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("finalize acl failed");
	}
	INFO_LOG("end to finalize acl");
	return 0;
}

同样，需要先编译cmake . -DCMAKE_CXX_COMPILER=g++ -DCMAKE_SKIP_RPATH=TRUE, make
然后cd到目录下，运行touch acl.json -> ./main

上述device_demo是在有两个device时运行的。当device仅有一个时虽然不会报错，但ret=aclrtSetDevice(1)不会执行

1.3.3 Context管理

aclError aclrtCreateContext(aclrtContext *context, int32_t deviceId)：显示创建Context，该Context中包含两个Stream，一个默认Stream和一个执行内部同步的Stream。

  • 若不调用aclrtCreateContext接口显式创建Context，那系统会使用默认Context，该默认Context是在调用aclrtSetDevice接口时隐式创建的。
  • 若在某一进程内创建多个Context(无Context数量限制)，当前线程在同一时刻内只能使用其中一个Context，建议通过aclrtSetCurrentContext接口明确指定当前线程的Context，增加程序的可维护性。

aclError aclrtDestroyContext(aclrtContext context)：释放Context资源

aclError aclrtSetCurrentContext(aclrtContext context)：指定线程的context。在需要指定context的线程内执行。推荐在某一线程中创建的Context只在该线程内使用

  • 如果在某线程（例如: thread1）中调用aclrtCreateContext接口显式创建一个Context(例如: ctx1)，则可以不调用aclrtSetCurrentContext接口指定该线程的Context，系统默认将ctx1作为thread1的Context。（显示创建的Context不需要指定）
  • 如果没有调用aclrtCreateContext接口显式创建Context，则系统将默认Context作为线程的Context，此时，不能通过aclrtDestroyContext接口来释放默认Context。（不显示创建的Context不能显示释放）
  • 如果多次调用acIrtSetCurrentContext接口设置线程的Context，以最后一次为准。

aclError aclrtGetCurrentContext(aclrtContext *context): 获取线程的Context

context Demo
# include <iostream>
# include "acl/acl.h"
# define INFO_LOG(fmt, args...) fprintf(stdout, "[INFO] " fmt "\n", ##args)
# define WARN_LOG(fmt, args...) fprintf(stdout, "[WARN] " fmt "\n", ##args)
# define ERROR_LOG(fmt, args...) fprintf(stdout, "[ERROR] " fmt "\n", ##args)
using namespace std;

int main(){
	/*
		不显示创建device，在调用aclrtCreateContext是默认指定device
	*/
	INFO_LOG("Context Demo");
	// ACL初始化
	const char *aclConfigPath = "acl.json";
	aclError ret = aclInit(aclConfigPath);
	if (ret != ACL_ERROR_NONE){	// 判断初始化成功
		ERROR_LOG("acl init failed");
	}
	INFO_LOG("acl init success");

	int32_t deviceId = 0;
	aclrtContext context1;
	aclrtContext context2;
	ret = aclrtCreateContext(&context1, deviceId);	// 显示创建Context1
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("acl create context1 failed");
	}
	INFO_LOG("create context1 success");

	ret = aclrtCreateContext(&context2, deviceId);	// 显示创建Context2
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("acl create context2 failed");
	}
	INFO_LOG("create context2 success");
	
	aclrtContext context3;
	ret = aclrtGetCurrentContext(&context3); // 获取当前的context
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("acl get current context failed");
	}
	INFO_LOG("acl get current context success");
	
	// 比较 输出当前进程是哪个context
	if(context2 == context3){	// 比较地址
		INFO_LOG("current context is context2");
	}
	else if (context1 == context3){
		INFO_LOG("current context is context1");
	}
	else ERROR_LOG("current context compare failed");

	// 将context设置为context1
	ret = aclrtSetCurrentContext(context1);
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("acl set current failed");
	}
	INFO_LOG("set current context as context1 successed");
	
	 // 查看更换context是否成功
	ret = aclrtGetCurrentContext(&context3);
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("acl get current context failed");
	}
	INFO_LOG("acl get current context success");

	if(context2 == context3){
	INFO_LOG("current context is context2");
	}
	else if (context1 == context3){
		INFO_LOG("current context is context1");
	}
	else ERROR_LOG("current context compare failed");
	
	// 销毁context
	ret = aclrtDestroyContext(context1);
	INFO_LOG("context1 is destroyed");
	ret = aclrtDestroyContext(context2);
	INFO_LOG("context2 is destroyed");
	
	// 销毁acl
	ret = aclFinalize();
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("finalize acl failed");
	}
	INFO_LOG("end to finalize acl");
	return 0;
}

然后编写对应的CMakeLists.txt；执行cmake . -DCMAKE_CXX_COMPILER=g++ -DCMAKE_SKIP_RPATH=TRUE；make；touch acl.json；./main

  • result
    在这里插入图片描述

1.3.4 Stream管理

在ACL中，Stream是一个任务队列，通过Stream管理任务并行。即Stream根据发送过来的任务依次执行; 不同Stream中的任务并行执行。一个默认Context下会挂一个默认Stream，如果不显式创建Stream，可使用默认Stream。

aclError aclrtCreateStream(aclrtStream *stream)：创建一个Stream。硬件资源最多支持1024个Stream。

每个进程对应一个默认Stream，此默认接口是调用aclrtSetDevice接口指定用于运算的Device时隐式创建的。系统最大支持8个默认Stream

aclError aclrtDestroyStream(aclrtStream stream)：销毁stream。销毁前需调用aclrtSynchronizeStream接口确保Stream中任务都已完成

??????????????aclrtSynchronizeStream：视频中没讲，埋坑

Stream Demo
# include <iostream>
# include "acl/acl.h"
// 设置宏
# define INFO_LOG(fmt, args...) fprintf(stdout, "[INFO] " fmt "\n", ##args)
# define WARN_LOG(fmt, args...) fprintf(stdout, "[WARN] " fmt "\n", ##args)
# define ERROR_LOG(fmt, args...) fprintf(stdout, "[ERROR] " fmt "\n", ##args)
using namespace std;

int main(){
	/*
		注意创建与销毁顺序恰好相反
	*/

	INFO_LOG("HELLO WORLD");
	// ACL初始化
	const char *aclConfigPath = "acl.json";
	aclError ret = aclInit(aclConfigPath);
	if (ret != ACL_ERROR_NONE){	// 判断初始化成功
		ERROR_LOG("acl init failed");
	}
	INFO_LOG("acl init success");
	
	// 创建context
	int32_t deviceId = 0;
	aclrtContext context;
	ret = aclrtCreateContext(&context, deviceId);
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("context create failed");
	}
	INFO_LOG("create context success");

	// 创建stream
	aclrtStream stream;
	ret = aclrtCreateStream(&stream);
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("stream create failed");
	}
	INFO_LOG("create stream success");
	
	// 销毁stream
	ret = aclrtDestroyStream(stream);
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("stream destroy failed");
	}
	INFO_LOG("end to stream destroy");
	
	// 销毁context
	ret = aclrtDestroyContext(context);
	INFO_LOG("end to context destroy");

	ret = aclFinalize();
	// ACL销毁
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("finalize acl failed");
	}
	INFO_LOG("end to finalize acl");
	return 0;
}
  • result
    在这里插入图片描述

1.4 内存管理与数据传输

通常加速计算在Device，而模型、数据集等加载在HOST上。

1.4.1 内存管理概述

任何用于参与ACL在Device侧运算的内存，都不能是C/C++原生内存管理接口，而是必须调用ACL相关接口进行管理。 ACL设备管理上，是要区分HOST和Device的（aclrtGetRunMode返回运行模式）。

  • 二者分设：如Atlas300，模型数据等都在HOST加载；然后传输到Device侧运算；运算结果再返回HOST
  • 二者合设：只有Device，模型数据等都在Device上加载

1.4.2 内存管理接口

1. Host侧申请与释放

aclError aclrtMallocHost(void **hostPtr, size_t size)：申请Host侧内存。申请的内存不能直接在Device上使用，需要显式拷贝到Device上。这个内存只能通过aclrtFreeHost释放。

aclError aclrtFreeHost(void *hostPtr)

2. Device侧申请与释放

aclError aclrtMalloc(void **devPtr, size_t size, aclrtMemMallocPolicy policy)：申请Device侧内存。policy指内存分配规则。
aclError aclrtFree(void *devPtr)

3. 新申请的内存初始化

  • 同步
    aclError aclrtMemset(void *devPtr, size_t maxCount, int32_t value, size_t count)：内存赋初值。

  • 异步
    aclError aclrtMemsetAsync(void *devPtr, size_t maxCount, int_32 value, size_t count, aclrtStream stream)：异步初始化

4. HOST与Device之间拷贝

  • 同步
    aclError aclrtMemcpy(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind)

    • dst：目的内存地址指针
    • destMax：目的内存地址的最大内存长度
    • src：源内存地址指针
    • count：内存复制长度
    • kind：aclrtMemcpyKind枚举。
      • ACL_MEMCPY_HOST_TO_HOST：Host -> Host
      • ACL_MEMCPY_HOST_TO_DEVICE：Host -> Device
      • ACL_MEMCPY_DEVICE_TO_HOST：Device -> Host
      • ACL_MEMCPY_DEVICE_TO_DEVICE：Device -> Device

  • 异步
    aclError aclrtMemcpyAsync(void *dst, size_t destMax, const void *src, size_t count, aclrtMemcpyKind kind, aclrtStream stream)

    • stream

1.4.3 内存管理Demo

# include <iostream>
# include "acl/acl.h"
// 设置宏
# define INFO_LOG(fmt, args...) fprintf(stdout, "[INFO] " fmt "\n", ##args)
# define WARN_LOG(fmt, args...) fprintf(stdout, "[WARN] " fmt "\n", ##args)
# define ERROR_LOG(fmt, args...) fprintf(stdout, "[ERROR] " fmt "\n", ##args)
using namespace std;

int main(){
	/*
		注意创建与销毁顺序恰好相反
	*/

	INFO_LOG("HELLO WORLD");
	// ACL初始化
	const char *aclConfigPath = "acl.json";
	aclError ret = aclInit(aclConfigPath);
	if (ret != ACL_ERROR_NONE){	// 判断初始化成功
		ERROR_LOG("acl init failed");
	}
	INFO_LOG("acl init success");
	
	ret = aclrtSetDevice(0);
	INFO_LOG("set device 0 success");

	void *hostMemPtr_;
	size_t hostMemSize = 32;
	void *devMemPtr_;
	size_t devMemSize = 32;
	
	// 申请Host内存
	ret = aclrtMallocHost(&hostMemPtr_, hostMemSize);
	if (ret != ACL_ERROR_NONE){	
		ERROR_LOG("host malloc failed");
	}
	INFO_LOG("acl host malloc success");
	
	// 申请Device内存
	ret = aclrtMalloc(&devMemPtr_, devMemSize, ACL_MEM_MALLOC_HUGE_FIRST); // 注意相比HOST多一个参数
	if (ret != ACL_ERROR_NONE){	
		ERROR_LOG("device malloc failed");
	}
	INFO_LOG("acl dev malloc success");
	
	// 初始化HOST
	ret = aclrtMemset(hostMemPtr_, 32, 1, 32);	// host内存内容重置为1
	if (ret != ACL_ERROR_NONE){	
		ERROR_LOG("acl host mem set failed");
	}
	INFO_LOG("acl host mem set success");
	
	// 拷贝 HOST -> Device
	ret = aclrtMemcpy(devMemPtr_, devMemSize, hostMemPtr_, hostMemSize, ACL_MEMCPY_HOST_TO_DEVICE);
	if (ret != ACL_ERROR_NONE){	
		ERROR_LOG("acl mem copy host2dev failed");
	}
	INFO_LOG("acl mem copy host2dev success");

	// 释放
	ret = aclrtFreeHost(hostMemPtr_);
	if (ret != ACL_ERROR_NONE){	
		ERROR_LOG("host free failed");
	}
	INFO_LOG("end to free host");
	
	ret = aclrtFree(devMemPtr_);
	if (ret != ACL_ERROR_NONE){	
		ERROR_LOG("device free failed");
	}
	INFO_LOG("end to free dev");

	ret = aclrtResetDevice(0);
	INFO_LOG("Reset device 0 success");

	ret = aclFinalize();
	// ACL销毁
	if (ret != ACL_ERROR_NONE){
		ERROR_LOG("finalize acl failed");
	}
	INFO_LOG("end to finalize acl");
	return 0;
}
  • result
    在这里插入图片描述
KimJuneJune
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Atlas 200 DK】（四）ACL开发
张林克的博客
01-30 1974
pass
【2023 · CANN训练营第一季】应用开发深入讲解——第二章 模型推理
qq_45257495的博客
05-08 593
申请运行管理资源时，需按顺序依次申请： Device 、 Context 、 Stream ，然后根据实际需求调用 aclrtGetRunMode 接口获取软件栈的运行模型（当同一个应用既支持在 Host 运行，也支持在 Device 运行时，在编程时需要就需要根据运行模式来判断后续的接口调用逻辑，这时需要提前获取运行模式。·调用 aclrtSetDevice 接口显式指定用于运算的 Device。指定用于计算的 Device。
华为CANN训练营学习笔记汇总
m0_56945333的博客
08-25 397
华为CANN训练营学习笔记汇总，都是跳转链接
香橙派华为昇腾CANN架构编译opencv4.9
qianbo042311的博客
05-25 859
这块小盒子本身带了一些例子，不过我们最需要的是如何发挥他的关键，就是硬件资源调度，在教育、体育、安防、交通、医疗等领域中，AI检测应用发挥着至关重要的作用，比如在各种安全分析，各种体育训练时的实时人体关键点检测可以精确、实时地捕捉运动员的动作，在安防应用场景中，识别各种异常现象和异常行为或特定姿态，以达到场景安全防控的目的。
CANN2022训练营第一季，学习笔记——初级应用开发3
qq_60508618的博客
03-31 1360
CANN2022训练营第一季，学习笔记（含打卡截图）——初级应用开发3 学习笔记 模型转换工具（ATC工具） 将TensorFlow/Caffe等开源网络的模型通过ATC工具转为昇腾AI处理器支持格式的模型（Model.om file） 流程：开始→环境准备（获取ATC工具、设置环境变量）→模型准备→ATC模型转换（可以根据需要进行配置）→结束 ACL简介（见第二节课内容） 用于加速推理的应用开发框架（不是新手训练用的）。其向上可以供第三方框架、开发第三方lib库调用，向下可以调用GE执.
Call aclrtCreateContext failed and Runtime error for null exception handler
weixin_45666880的博客
08-29 165
原因是没有链接python库，我修改了测试用例中的CMakeList.txt,查找python库并将之链接到可执行程序上
华为Ascend昇腾CANN详细教程（一）
热门推荐
IT菜鸟
07-12 1万+
基于昇腾CANN的推理应用开发快速体验（C++）基于昇腾CANN的推理应用开发——图片分类应用（C&C++）CANN软件提供进程级环境变量设置脚本，供用户在进程中引用，以自动完成环境变量设置。 物理机场景下，一个Device上最多只能支持64个用户进程，Host最多只能支持Device个数64个进程；虚拟机场景下，一个Device上最多只能支持32个用户进程，Host最多只能支持Device个数32个进程。不支持使用fork函数创建多个进程，且在进程中调用AscendCL接口的场景，否则进程运行时会报错
【2023 · CANN训练营第一季】运行资源管理初探
qq_43603900的博客
05-07 192
【2023 · CANN训练营第一季】运行资源管理初探
人工智能-华为云 5G 云 AI在互联网行业的应用.pdf
05-10
华为云的全业务流程AI开发策略不仅满足了实时、低延迟的需求，还推动了AI的普及和自动化，为各行业带来了前所未有的创新机遇。随着技术的不断发展，我们可以期待更多领域被5G+AI所重塑，创造更加智慧化的未来。
YOLOv8训练自己的数据集并基于NVIDIA TensorRT和华为昇腾端到端模型加速项目代码.zip
01-13
对于华为昇腾的端到端模型加速，可能涉及到CANN（Compute Architecture for Neural Networks）等工具，这将帮助你在华为的AI硬件上实现模型的高效运行。整个过程涵盖了深度学习模型的生命周期，从训练到部署，对于...
华为智能设备安装Linux、Ubuntu、CentOs的流程方法。
07-04
在提供的PDF手册“CANN V100R020C20 Software Installation Guide (Development and Operating Scenarios, CLI) 01.pdf”中，可能详细介绍了华为设备上安装和操作这些系统的具体步骤和CLI（命令行接口）用法。...
华为HCIA-AIV3.0题库.docx
09-04
17. 人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法及应用系统的一门新的技术科学。 18. 神经网络研究属于连接主义学派。 19. 人工智能现在的技术应用方向主要有自然语言处理、控制系统、计算机视觉...
华为AI盘古大模型研究框架
最新发布
06-10
华为AI盘古大模型研究框架 华为产业链深度系列研究 AI算力资源：“鲲鹏+...• 昇腾：昇腾AI处理器→CANN异构计算架构→MindSpore AI框架→应用使能→行业应用，助力打造华为昇腾全栈AI软硬件平台，构筑智能世界基石。
华为服务器显示灯p02,华为服务器uid灯蓝色
weixin_35875219的博客
08-09 3201
华为服务器uid灯蓝色 内容精选换一换一个用户线程一定会绑定一个Context，所有Device的资源使用或调度，都必须基于Context。一个线程中当前会有一个唯一的Context在用，Context中已经关联了本线程要使用的Device。可以通过acl.rt.set_context进行Device的快速切换。示例代码如下，仅供参考，不可以直接拷贝编译运行：…ctx1,一个用户线程一定会绑定一个...
华为昇腾CANN——AscendCL特性之同步异步(C++)
qq_40679625的博客
06-06 788
本次介绍到的AscendCL接口系列旨在了解AscendCL提供的多种特性，其中每种特性都包含了若干个可调用的接口。
基于昇腾CANN的推理应用开发快速体验（C++）
qq_40679625的博客
06-02 608
这是关于一次 Ascend 在线实验的记录，主要内容是通过网络模型加载、推理、结果输出的部署全流程展示，从而快速熟悉并掌握 ACL（Ascend Computing Language）基本开发流程。
华为CANN训练营笔记——算子开发
m0_56945333的博客
09-23 793
第二部分——算子开发的实现
【2023 · CANN训练营第一季】1.基础理论知识
weixin_70078089的博客
05-14 108
华为公司面向计算机视觉、自然语言处理、推荐系统、类机器人等领域量身打造了基于“达芬奇 (DaVinci)架构”的异腾(Ascend) A处理器，开启了智能之旅。华为的AI全栈解决方案包括硬件，AI框架，CANN异构计算架构，相关SDK，部署平台生态等，其中，CANN作为软件和硬件之间的桥梁，向上兼容兼容多种AI框架，向下调用并加速硬件，是学习华为的AI全栈解决方案的重中之重。另外CANN本身还要连接上层的应用层和下层的计算硬件，具体功能可以看下方的一图解，在实际操作中，使用和感知较多的应该是其应用层。
华为CANN训练营笔记——应用开发全流程 [4]（with 代码版）
m0_56945333的博客
08-25 524
继续模型加载与执行部分，为头文件定义的三大类实现了成员函数功能。 给出了样例的编译命令和运行结果
对比英伟达的CUDA和华为的CANN
07-14
CUDA和CANN都是针对加速计算的框架，但它们来自不同的厂商，有一些不同的特点。 CUDA是英伟达推出的一种并行计算平台和编程模型。它允许开发人员使用C/C++、Fortran等编程语言在NVIDIA GPU上进行高性能计算。CUDA提供了丰富的库和工具，使开发人员能够充分利用GPU的并行计算能力。CUDA在科学计算、深度学习、图形渲染等领域得到广泛应用，并且拥有庞大的生态系统和开发社区。 CANN是华为推出的神经网络计算库。它专门针对华为自家的昇腾AI芯片进行优化，提供了高效的神经网络推理能力。CANN支持多种神经网络模型，包括卷积神经网络、循环神经网络等，并提供了一系列的API接口和工具，方便开发者进行模型部署和优化。CANN主要用于华为在人工智能领域的应用，如图像识别、语音识别等。 需要注意的是，CUDA和CANN是针对不同的硬件平台和厂商所提供的解决方案。CUDA主要面向NVIDIA的GPU，而CANN主要面向华为的昇腾AI芯片。在选择使用哪个框架时，需要考虑硬件平台和应用场景的兼容性，以及对应厂商提供的支持和生态系统的丰富程度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值