学习OpenVINO笔记之Inference Engine

Inference Engine是OpenVINO具体实施单元，支持CPU,GPU,FPGA，Movidius，GNA等因特尔开发的硬件平台，并提供可操作API，API为C++接口，也支持python.

Inference Engine lib

Inference Engine最核心的的lib为：

linux： libinference_engine.so

window OS: inference_engine.dll

主要提供API中的功能，是对各种功能进行抽象，和具体硬件平台无关

除了上述lib之外，为了将上述功能在具体硬件实现，还得需要具体硬件lib(相当于驱动层），各个平台上名字不一样，具体版本也不太一样，本文学习的主要是R2版本

平台	lib(linux)	依赖lib(linux)	DLL(window)	依赖DLL(window)
CPU	libMKLDNNPlugin.so	libmklml_tiny.so, libiomp5md.so	MKLDNNPlugin.dll	mklml_tiny.dll, libiomp5md.dll
GPU	libclDNNPlugin.so	libclDNN64.so	clDNNPlugin.dll	clDNN64.dll
FPGA	libdliaPlugin.so	libdla_compiler_core.so, libdla_runtime_core.so	dliaPlugin.dll	dla_compiler_core.dll, dla_runtime_core.dll
MYRIAD	libmyriadPlugin.so	NA	myriadPlugin.dll	NA
HDDL	libHDDLPlugin.so	libbsl.so, libhddlapi.so, libmvnc-hddl.so	HDDLPlugin.dll	bsl.dll, hddlapi.dll, json-c.dll, libcrypto-1_1-x64.dll, libssl-1_1-x64.dll, mvnc-hddl.dll
GNA	libGNAPlugin.so	libgna_api.so	GNAPlugin.dll	gna.dll
HETERO	libHeteroPlugin.so	Same as for selected plugins	HeteroPlugin.dll	Same as for selected plugins
MULTI	libMultiDevicePlugin.so	Same as for selected plugins	MultiDevicePlugin.dll	Same as for selected plugins

 linux可以通过设置LD_LIBRARY_PATH 相关lib路径，也可以通过bin/setupvars.sh 设置

 windows 可以通过设置PATH 相关lib路径，也可以通过bin/setupvars.bat 设置

            libinference_engine.so主要包含(注意R1版本和R2版本有很大不同)：

        读取CNN网络(InferenceEngine::CNNNetReader)

        维护CNN网络信息 (InferenceEngine::CNNNetwork)

                创建Inference Engine Core object(InferenceEngine::Core)

                运行网络，根据输入输出相关数据(InferenceEngine::ExecutableNetwork and InferenceEngine::InferRequest)

Inference Engine API 

Inference Engine一般API工作流程：

1：读取IR. 使用InferenceEngine::CNNNetReader读取IR到InferenceEngine::CNNNetwork

2：准备输入输出格式。加载完网络之后，需要明确输入输出

     InferenceEngine::CNNNetwork::getInputsInfo()

         InferenceEngine::CNNNetwork::getOutputsInfo()

3：创建core object. Core是指定到具体设备运行的类，是核心功能 

      创建InferenceEngine::Core

   设置相关InferenceEngine::Core::SetConfig

   相关扩展InferenceEngine::Core::AddExtension

4：编译和加载网络到设备

      InferenceEngine::Core::LoadNetwork()

5：设置输出。 InferenceEngine::InferRequest

6：执行。

   同步执行InferenceEngine::InferRequest::Infer()

   异步执行InferenceEngine::InferRequest::StartAsync()，

    异步时可以使用InferenceEngine::InferRequest::Wait()进行等待完成

7：获取输出结果

      InferenceEngine::IInferRequest::GetBlob()

 参考资料

    https://docs.openvinotoolkit.org/2019_R2/_docs_IE_DG_inference_engine_intro.html