在Atlas上做推理(5)-推理

经过了这么多这么多铺垫,终于可以进入正题了!

使用ACL接口在NPU上推理

目前在ACL中我们一般使用aclmdlExecuteAsync[1]接口调用NPU做推理,下面是调用的流程[2]:

  1. 调用aclmdlQuerySize接口查询模型需要的内存大小。
  2. 调用aclrtMalloc为模型分配device memory。
  3. 调用aclmdlLoadFromFileWithMem将模型从文件加载到device memory中,并且得到一个model id
  4. 调用aclmdlGetDesc根据model id获得对应model的信息,如:model输入输出buffer个数,每个buffer大小。
  5. 用户预先分配好输入输出buffer并且将输入数据准备好,使用aclmdlDataset系列接口[3]配置输入输出dataset。
  6. 调用aclmdlExecuteAsync启动推理。
  7. 调用aclrtSynchronizeStream等待推理完成,读取输出buffer的数据。

生成离线模型

简单来说生成离线模型就是把现在AI框架的prototxt/pb/onnx等模型文件编译成NPU能运行的om文件,详细介绍请参考文档[4]。我也提供了一个简单的yolov3模型转换的例子:

yolov3模型转换文档

生成离线模型需要使用atc工具,atc工具需要一台PC安装CANN的开发环境,配置开发环境比较复杂,我写了一份Dockerfile,有需要的人可以使用这个脚本直接构建镜像,节省时间。

docker仓库

AIPP

AIPP是一个对模型输入做预处理的模块,比如NPU的输入是视频解码的YUV420SP格式的图片,然而神经网络模型需要的RGB格式的输入,这个时候就需要使用AIPP完成这个YUV->RGB格式的转换。AIPP文档

参考

  1. ^aclmdlExecuteAsync aclmdlExecuteAsync_昇腾CANN社区版(5.0.2.alpha003)(推理)_应用开发(C++)_AscendCL API参考_模型加载与执行_华为云
  2. ^acl_model.cpp https://github.com/lenLRX/Atlas_ACL_E2E_Demo/blob/master/src/acl_model.cpp
  3. ^aclmdldataset接口 aclmdlCreateDataset_昇腾CANN社区版(5.0.2.alpha003)(推理)_应用开发(C++)_AscendCL API参考_数据类型及其操作接口_aclmdlDataset_华为云
  4. ^atc介绍 基础知识_昇腾CANN社区版(5.0.2.alpha003)(推理)_ATC模型转换_华为云

阅读终点,创作起航,您可以撰写心得或摘录文章要点写篇博文。去创作
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
apache-atlas-2.1.0-hive-hook.tar.gz是Apache Atlas项目中的一个软件包。Apache Atlas是一个开源的数据治理和元数据框架,用于收集、集成、索引和搜索数据资产。它提供了一个统一的视图来管理企业中的所有数据资产,包括表、列、模式、实体和关系等。而apache-atlas-2.1.0-hive-hook.tar.gz是Atlas项目为了与Hive集成而提供的一个插件。 Hive是一个构建在Hadoop之上的数据仓库基础设施工具,用于处理大规模的结构化数据。它提供了类似于SQL的查询和分析功能,可以将数据批量导入、导出和查询。通过与Apache Atlas的集成,可以实现对Hive中数据资产的元数据管理和治理。 在实际的应用中,apache-atlas-2.1.0-hive-hook.tar.gz可以被部署到Hive的服务器上,并与Hive的插件机制进行集成。通过配置Hive的元数据存储URL、用户名和密码等信息,Atlas可以自动从Hive中提取元数据,并将其索引到Atlas的元数据仓库中。这样,用户可以在Atlas的界面中浏览和搜索Hive中的表、列和关系,并进行数据资产的管理和治理。 此外,apache-atlas-2.1.0-hive-hook.tar.gz还提供了一些其他功能,如基于分类标签的权限控制、数据血缘追踪、数据脱敏等。通过这些功能,用户可以更好地理解和管理Hive中的数据资产,提高数据治理的效率和质量。 总之,apache-atlas-2.1.0-hive-hook.tar.gz是Apache Atlas项目中用于与Hive集成的插件,通过它可以实现对Hive中数据资产的元数据管理和数据治理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值