使用OpenVINO部署ONNX模型

做深度学习神经网络的设计、训练与部署，往往会困扰于不同的操作系统，不同的深度学习框架，不同的部署硬件，以及不同的版本。由于相互之间的不兼容，给开发使用者造成了很大的不便。

联合使用OpenVINO和ONNX，便可以解决从不同框架模型到不同硬件之间快速部署的问题。

最近参加“英特尔®OpenVINO™领航者联盟 DFRobot行业AI开发者大赛”活动，主办方提供了拿铁熊猫LattePanda和Intel神经计算棒NCS2，本文所列数据都是在该平台上运行得到的。

硬件1：拿铁熊猫LattePanda Delta

采用了 Intel 全新 N 系列赛扬 4 核处理器，最高可达 2.40 GHz，4GB内存，内置蓝牙和 WiFi 模组，支持 USB 3.0 接口、HDMI 视频输出、3.5mm音频接口，100/1000Mbps 以太网口，以及额外的 MicroSD 扩展卡槽。集成一块 Arduino Leonardo 单片机，可以外拓各种传感器模块，支持 Windows 和 Linux 双操作系统。在功能和价格上都是完美的选择。

硬件2：Intel神经计算棒NCS2

Intel® Movidius™ Myriad™ X VPU核心，USB 3.1 Type-A接口，支持TensorFlow, Caffe, MXNet, ONNX, PyTorch/ PaddlePaddle（通过ONNX）。

软件环境：OpenVINO，Ubuntu, Windows® 10

先来一张硬件合照，确实是小巧，接上鼠标、键盘、显示器，连上USB摄像头和蓝牙音箱，我们来看看这台巴掌大的电脑性能怎么样！

为什么选择ONNX和OpenVINO?

Open Neural Network Exchange（ONNX，开放神经网络交换），是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, MXNet）可以采用相同格式存储模型数据并交互。

ONNX的规范及代码主要由微软，亚马逊 ，Facebook 和 IBM 等公司共同开发，以开放源代码的方式托管在Github上。目前官方支持加载ONNX模型并进行推理的深度学习框架有： Caffe2, PyTorch, MXNet，ML.NET，TensorRT 和 Microsoft CNTK，并且 TensorFlow 也非官方的支持ONNX。---维基百科

OpenVINO是英特尔推出一套基于深度学习的计算机视觉加速优化框架，支持其它机器学习平台模型的压缩优化、加速计算等功能。主要包括两个核心组件一个预训练模型库：

OpenVINO核心组件-模型优化器

模型优化器Model Optimizer，模型优化器支持的深度学习框架包括：

-ONNX -TensorFlow -Caffe -MXNet

OpenVINO核心组件-推断引擎

推断引擎(Inference Engine)支持硬件指令集层面的深度学习模型加速运行，同时对传统的OpenCV图像处理库也进行了指令集优化，有显著的性能与速度提升。支持的硬件平台包括如下：

-CPU -GPU -FPGA