学习笔记(11):英特尔®OpenVINO™工具套件中级课程- 模型优化器&推理引擎

立即学习:https://edu.csdn.net/course/play/28807/427168?utm_source=blogtoedu

1、模型优化器&推理引擎

 

• 模型优化器&推理引擎 是工具套件的核心，负责输出IR格式的深度学习模型
• IR文件包含.xml与.bin
• 模型优化器(Model Optimizer)：
  • 对不同的输入模型进行优化(例如将数据格式转换为FP16)，转换成.xml和.bin文件

  • 转换属于离线操作，只需要执行一次即可

• 推理引擎(Inference Engine)：
  • 将转换完成的.xml和.bin文件在不同设备上进行推理

 

2、模型使用流程简化

 

2.1、Model —— 3种模型获取方式

• 1、自行训练

• 2、访问OpenVINO model-zoo

• 3、使用模型下载函数

 

 

2.2、Prepare Inference —— 模型优化

•  如果获取的不是.xml或者.bin格式，需要对模型进行转换与优化

 

 

 2.3、AI Application —— 应用

• 使用OpenVINO提供的示例或演示
• 选择一个预训练模型或者IR格式的模型，将其插入任何一个示例，最终得到一个应用