使用openvino加速tensorflow记录

OpenVINO

OpenVINO是英特尔推出的一款全面的工具套件，用于快速部署应用和解决方案，支持计算机视觉的CNN网络结构超过150余种。
该工具套主要由两部分组成

1. 模型优化器(Model Optimizer)
2. 推理引擎(Inference Engine)

模型优化器简介

官方描述：该工具可将在常见框架上训练的模型导入、转换与优化为可供英特尔工具（特别是推理引擎）使用的格式。常见框架包括 Caffe*、TensorFlow*、MXNet* 和ONNX*。
个人理解：将开源框架训练好的模型转化为推理引擎可识别的文件，本人使用的为将tensorflow训练好的pb文件生成模型优化器转换成的IR文件（包含.xml：描述网络拓扑、.bin：包含权重和偏差二进制数据）。

推理引擎简介

官方描述：这是一款运行深度学习模型的引擎。它包括一组库，可将推理轻松集成至用户的应用。
个人理解：向用户提供C++/Python API函数库。用户通过调用相应方法读入IR文件，设置推理引擎相应的模型输入输出，读入数据，指定AI计算硬件执行推理计算，并获得结果。

openvino加速tensorflow实现过程

实验环境：Ubuntu 16.04
AI计算设备：Intel® Core™ i7-9700K CPU @ 3.60GHz

安装OpenVINO工具套件

下载链接

1. 进入下载界面，点击Choose&Download按钮，选择需要相应的开发或部署的操作系统，点击Register&Download进入注册界面，注册后选择相应系统，并点击Submit进入下载界面，选择最新版本（笔者测试期间版本为2020
   2），点击Full Package下载完整的工具套件（Customizable
   Package为定制安装包，自主选择需要使用的组件）。
2. Linux下下载好后，解压下载下来的.tgz文件，解压好后进入l_openvino_toolkit_p_目录
3. 使用GUI安装向导，运行以下命令，并依据界面提示安装

sudo ./install_GUI.sh

默认安装路径/opt/intel，如果不是使用sudo安装，则安装路径是用户目录下

安装外部软件关联组件&设置环境变量

这些组件用于

1. opencv库的Intel优化构建
2. 深度学习推理引擎
3. 深度学习模型优化器工具
   运行如下代码，其中/opt/intel为安装OpenVINO默认安装路径，以实际安装情况进行相应修改

cd /opt/intel/openvino/install_dependencies
sudo -E ./install_openvino_dependencies.sh

4.配置用户目录的.bashrc，将openvino环境初始化添加进去，实现每次打开终端都会自动配置OpenVINO环境

vi <user_dir>/.bashrc
#将下面命令添加至.bashrc文件的末尾
source /opt/intel/openvino/bin/setupvars.sh

配置模型优化器

配置有两种配置选项，第一个是配置所有框架，第二是选择一种框架配置。配置过程需要联网。

1. 配置所有支持的框架`

cd /opt/intel/openvino/deployment_tools/model_optimizer/install_prerequisites
sudo ./install_prerequisites.sh

2. 单独配置（以tensorflow为例）

cd /opt/intel/openvino/deployment_tools/model