1AI应用开发基础概念:
三大开发模式:
应用开发:提供深度学习推理计算,图像预处理,单算子加速计算能力;
模型开发:提供统一网络构图接口;
算子开发:最大匹配用户开发习惯。
2同步:阻塞在调用点,执行完之后继续走。
异步:不等待立即往后走。
HOST:CPU+内存
Device:GPU+显存。
2基于目标检测模型开发推理应用
第一步高性能离线推理应用开发
模型转换工具ATC
AscendCL初始化与去初始化
运行管理资源申请顺序:Device,context,stream,
释放顺序:stream,context,device
模型管理
输入输出准备
模型执行与结果获取
分析原始模型
详细流程设计
代码开发
编译运行应用
高度抽象后流程:
AscendCL初始化——>运行管理资源申请——>执行业务——>运行管理资源释放——>AscendCL去初始化。
3基于目标检测模型拓展推理应用
应用开发接口主要提供三种能力:深度学习推理,图形图像预处理,单算子加速计算。
DVPP数字图像预处理:VDEC视频解码,JPEC图片解码,图片的缩放,抠图,一系列图片格式转换。
AIPP:Corp功能:抠图色域转换。
AIPP:归一化
预处理加速原理介绍:
1视频解码2图像尺寸缩放3归一化,色域转换4神经网络推理。