编写openvino应用程序
使用openvino 工具套件开发AI推理计算主要有两步:
第一步: 使用model optimizer 工具优化模型;
第二步:调用inference engine API函数完成AI推理。
1.1Inference engine介绍
Inference engine 提供了C++/python的函数库,让开发者方便读入IR文件、设置模型的输入和输出、读入数据(图像)、在指定的AI计算硬件上执行推理计算并获得结果。
详细介绍:
https://docs.openvino.ai/2019_R2/_docs_IE_DG_inference_engine_intro.html
1.2Inference engine plugin架构
在用户指定AI推理计算的硬件后,inference engine会自动选择对应的plugin(插件)。
1.3Inference engine 应用程序开发流程
创建core对象
读取IR文件
配置输入输出
载入模型
创建infer request
准备输入数据
执行推理计算
处理模型输出
1.4查看模型输入输出张量
在配置前需要知道模型输入输出的张量名是什么,使用summarize_graph.py工具来查看。
第一步,进入utils文件夹:
C:\Program Files (x86)\IntelSWTools\openvino_2020.3.194\deployment_tools\model_optimizer\mo\utils
第二步,在utils文件夹下cmd ,进入命令行,然后激活环境:
C:\Program Files (x86
编写openvino应用程序
最新推荐文章于 2024-09-29 17:45:04 发布

这篇博客介绍了如何利用OpenVINO工具套件开发AI推理应用,包括使用Model Optimizer优化模型,Inference Engine的介绍,加载IR文件,配置输入输出,执行推理计算等步骤。还展示了查看模型输入输出张量的方法,并给出了一个简单的C++ OpenVINO推理计算示例。
最低0.47元/天 解锁文章

5285

被折叠的 条评论
为什么被折叠?



