java调用onnx模型_ONNX--跨框架的模型中间表达框架

本文介绍一种可以方便在各个主流深度学习框架中迁移模型的中间表达格式框架ONNX，因为在我的毕设中需要将所有的模型model的architecture存储成一种中间表达形式(format)以方便调用。在我的supervisor@Milo的建议下，我学习了被众多主流框架支持的中间表达格式框架ONNX，下面与大家共同分享。

1.Motivation:

现如今，各大主流深度学习框架都有着自己独有的特点与魅力，吸引着广大科研与开发人员，例如：

Caffe2：方便机器学习算法和模型大规模部署在移动设备

PyTorch：PyTorch是一个快速便于实验深度学习框架。但是由于其高度封装，导致部分function不够灵活

TensorFlow：TensorFlow 是一个开放源代码软件库，是很多主流框架的基础或者依赖。几乎能满足所有机器学习开发的功能，但是也有由于其功能代码过于底层，学习成本高，代码冗繁，编程逻辑与常规不同等缺点。

深度学习算法大多通过计算数据流图来完成神经网络的深度学习过程。 一些框架(例如CNTK，Caffe2，Theano和TensorFlow)使用静态图形，而其他框架(例如PyTorch和Chainer)使用动态图形。 但是这些框架都提供了接口，使开发人员可以轻松构建计算图和运行时，以优化的方式处理图。 这些图用作中间表示(IR)，捕获开发人员源代码的特定意图，有助于优化和转换在特定设备(CPU，GPU，FPGA等)上运行。

假设一个场景：现在某组织因为主要开发用TensorFlow为基础的框架，现在有一个深度算法，需要将其部署在移动设备上，以观测变现。传统地我们需要用caffe2重新将模型写好，然后再训练参数；试想下这将是一个多么耗时耗力的过程。

此时，ONNX便应运而生，Caffe2，PyTorch，Microsoft Cognitive Toolkit，Apache MXNet等主流框架都对ONNX有着不同程度的支持。这就便于了我们的算法及模型在不同的框架之间的迁移。

2. ONNX ：

2.1 ONNX Overview

开放式神经网络交换(ONNX)是迈向开放式生态系统的第一步，它使AI开发人员能够随着项目的发展选择合适的工具。 ONNX为AI模型提供开源格式。 它定义了可扩展的计算图模型，以及内置运算符和标准数据类型的定义。 最初的ONNX专注于推理(评估)所需的功能。 ONNX解释计算图的可移植，它使用graph的序列化格式。 它不一定是框架选择在内部使用和操作计算的形式。 例如，如果在优化过程中操作更有效，则实现可以在存储器中以不同方式表示模型。

ONNX是一个开放式规范，由以下组件组成：可扩展计算图模型的定义

标准数据类型的定义

内置运算符的定义

2.2 ONNX model:

The top-level ONNX construct is a ‘Model.’

模型结构的主要目的是将元数据(meta data)与图形(graph)相关联，图形包含所有可执行元素。 首先，读取模型文件时使用元数据，为实现提供所需的信息，以确定它是否能够：执行模型，生成日志消息，错误报告等功能。此外元数据对工具很有用，例如IDE和模型库，它需要它来告知用户给定模型的目的和特征。

每个model具有以下组件࿱