编写openvino应用程序

这篇博客介绍了如何利用OpenVINO工具套件开发AI推理应用,包括使用Model Optimizer优化模型,Inference Engine的介绍,加载IR文件,配置输入输出,执行推理计算等步骤。还展示了查看模型输入输出张量的方法,并给出了一个简单的C++ OpenVINO推理计算示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

编写openvino应用程序
使用openvino 工具套件开发AI推理计算主要有两步:
第一步: 使用model optimizer 工具优化模型;
第二步:调用inference engine API函数完成AI推理。
1.1Inference engine介绍
Inference engine 提供了C++/python的函数库,让开发者方便读入IR文件、设置模型的输入和输出、读入数据(图像)、在指定的AI计算硬件上执行推理计算并获得结果。
详细介绍:
https://docs.openvino.ai/2019_R2/_docs_IE_DG_inference_engine_intro.html
1.2Inference engine plugin架构
在用户指定AI推理计算的硬件后,inference engine会自动选择对应的plugin(插件)。
1.3Inference engine 应用程序开发流程
创建core对象
读取IR文件
配置输入输出
载入模型
创建infer request
准备输入数据
执行推理计算
处理模型输出
1.4查看模型输入输出张量
在配置前需要知道模型输入输出的张量名是什么,使用summarize_graph.py工具来查看。
第一步,进入utils文件夹:
C:\Program Files (x86)\IntelSWTools\openvino_2020.3.194\deployment_tools\model_optimizer\mo\utils
第二步,在utils文件夹下cmd ,进入命令行,然后激活环境:
C:\Program Files (x86

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值