学习笔记(11):英特尔®OpenVINO™工具套件中级课程-推理引擎优化&内部API

立即学习:https://edu.csdn.net/course/play/28807/427188?utm_source=blogtoedu

IR文件与硬件关联不大，其没有针对特定硬件进行优化 （其可以在CPU GPU 等上运行）

第二级优化，即针对特定设备的优化但应注意其配置完全不同

但INFERENCE-ENGINE可以使用插件配置环境，每个插件都有自己的实现库。

两个插件HTO和MLT可以访问所有设备

INFERENCE-ENGINE

实施推理的简单统一的API（可以在intel所有设备中使用）

 

IEG中的三个主要类

1.IEcore定义推理引擎对象

2.inferrequest进行推理

 

 

 

在许多设备上执行推理（CPU GPU...）

 

IE可以充分的感知系统，以便利用系统做到最大优化