onnx模型部署 python_使用ONNX部署深度学习和传统机器学习模型

目录ONNX简介

ONNX标准介绍

ONNX与PMML

DaaS简介

使用ONNX部署传统机器学习模型

使用ONNX部署深度神经网络模型

总结

参考

ONNX简介

开放神经网络交换ONNX(Open Neural Network Exchange)是一套表示深度神经网络模型的开放格式，由微软和Facebook于2017推出，然后迅速得到了各大厂商和框架的支持。通过短短几年的发展，已经成为表示深度学习模型的实际标准，并且通过ONNX-ML，可以支持传统非神经网络机器学习模型，大有一统整个AI模型交换标准。

ONNX定义了一组与环境和平台无关的标准格式，为AI模型的互操作性提供了基础，使AI模型可以在不同框架和环境下交互使用。硬件和软件厂商可以基于ONNX标准优化模型性能，让所有兼容ONNX标准的框架受益。目前，ONNX主要关注在模型预测方面(inferring)，使用不同框架训练的模型，转化为ONNX格式后，可以很容易的部署在兼容ONNX的运行环境中。

ONNX标准介绍

ONNX规范由以下几个部分组成：一个可扩展的计算图模型：定义了通用的计算图中间表示法(Intermediate Representation)。

内置操作符集：ai.onnx和ai.onnx.ml，ai.onnx是默认的操作符集，主要针对神经网络模型，ai.onnx.ml主要适用于传统非神经网络机器学习模型。

标准数据类型。包括张量(tensors)、序列(sequences)和映射(maps)。

目前，ONNX规范有两个官方变体，主要区别在与支持的类型和默认的操作符集。ONNX神经网络变体只使用张量作为输入和输出；而作为支持传统机器学习模型的ONNX-ML，还可以识别序列和映射，ONNX-ML为支持非神经网络算法扩展了ONNX操作符集。

ONNX使用protobuf序列化AI模型，顶层是一个模型(Model)结构，主要由关联的元数据和一个图(Graph)组成；图由元数据、模型参数、输入输出、和计算节点(Node)序列组成，这些节点构成了一个计算无环图，每一个计算节点代表了一次操作符的调用，主要由节点名称、操作符、输入列表、输出列表和属性列表组成，属性列表主要记录了一些运行时常量，比如模型训练时生成的系数值。

为了更直观的了解ONNX格式内容，下面，我们训练一个简单的Logistic Regression模型，然后导出ONNX。仍然使用常用的分类数据集iris：

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LogisticRegression

iris = load_iris()

X, y = iris.data, iris.target

X_train, X_test, y_train, y_test = train_test_split(X, y)

clr = LogisticRegression()

clr.fit(X_train, y_train)

使用skl2onnx把Scikit-learn模型序列化为ONNX格式：

from skl2onnx import convert_sklearn

from skl2onnx.common.data_types import FloatTensorType

initial_type = [('float_input', FloatTensorType([1, 4]))]

onx = convert_sklearn(clr, initial_types=initial_type)

with open("logreg_iris.onnx", "wb") as f:

f.write(onx.SerializeToString())

使用ONNX Python API查看和验证模型：

import onnx

model = onnx.load('logreg_iris.onnx')

print(model)

输出模型信息如下：

ir_version: 5

producer_name: "skl2onnx"

producer_version: "1.5.1"

domain: "ai.onnx"

model_version: 0

doc_string: ""

graph {

node {

input: "fl