[深度学习] OpenVINO开发：C++ API推理步骤实现

使用C++ API实现推理步骤：

1. 创建Core对象，加载推理引擎Core，该引擎需要从当前路径加载plugins.xml文件；

Core ie;

2. 读取IR文件 (.xml and .bin files),也可直接加载.onnx文件;

• .xml和.bin文件放在同一目录下，但是代码中只加载.xml即可；

CNNNetwork network = ie.ReadNetwork(input_model);

3. 配置 input & output;

输入格式设置：

InputInfo::Ptr input_info = network.getInputsInfo().begin()->second;
std::string input_name = network.getInputsInfo().begin()->first;

//通过设置调整大小算法，将输入标记为可调整大小。 
//在这种情况下，能够将任何形状的输入blob设置为一个推断请求。 在推断期间自动执行调整大小和布局转换 。
input_info->getPreProcess().setResizeAlgorithm(RESIZE_BILINEAR);
input_info->setLayout(Layout::NHWC);
input_info->setPrecision(Precision::U8);

输出格式设置：

DataPtr output_info = network.getOutputsInfo().begin()->second;
std::string output_name = network.getOutputsInfo().begin()->first;
output_info->setPrecision(Precision::FP32);

4. 载入模型到AI推理计算设备;

• 计算棒 "MYRIAD";

 ExecutableNetwork executable_network = ie.LoadNetwork(network, "CPU");

5. 创建Infer Request;

  InferRequest infer_request = executable_network.CreateInferRequest();

6. 准备输入数据;

//读取输入图像到一个blob，并将其设置为一个不需要调整大小和布局转换的推断请求。  
 cv::Mat image = imread_t(input_image_path);
 Blob::Ptr imgBlob = wrapMat2Blob(image);     // just wrap Mat data by Blob::Ptr
                                              // 不分配新内存
 infer_request.SetBlob(input_name, imgBlob);  // infer_request 接受任意大小的输入blob

7. 推理;

 infer_request.Infer();

8. 输出处理;

Blob::Ptr output = infer_request.GetBlob(output_name);
ClassificationResult_t classificationResult(output, { input_image_path });
classificationResult.print();

---

官方文档参考：Integrate Inference Engine with Your C++ Application

---

完整Demo下载：hello_openvino_2021.7z

Demo运行说明：

1. 根据本机OpenVINO资源安装路径修改CMake文件；
2. Visual Studio 调为“Release x64”环境 ;
3. 修改模型和图片资源的绝对路径;
4. 运行时提示缺少“xxx.dll”,在“属性–>调试 – >环境”中，添加“PATH=xxx”。

PATH=C:\Program Files (x86)\Intel\openvino_2021.4.752\opencv\bin;C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\inference_engine\bin\intel64\Release;C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\inference_engine\external\tbb\bin;C:\Program Files (x86)\Intel\openvino_2021.4.752\deployment_tools\ngraph\lib;