【ML】机器学习模型之PMML--概述

机器学习模型的应用一般会经历两个主要过程：

• 1、离线开发
• 2、线上部署

离线部分负责模型训练和导出模型，线上部分负责导入模型并且做预测。

以上图片来自：https://zhuanlan.zhihu.com/p/30378213

一、PMML简要介绍

PMML（Predictive Model Markup Language,PMML)）是一套基于XML标准，与平台和环境无关的模型表示语言。它主要是通过了XML schema定义和储存了一个算法模型的核心元素：

• 数据字典：描述输入数据
• 数据转换：定义了原始数据数据预处理的方式，比如标准化、缺失值处理、哑变量的生成等
• 模型定义：模型的类型及参数，比如树模型的分裂节点等
• 模型输出：模型的输出结果

可以看出，通过定义PMML中的所有核心元素，可以完成数据挖掘的所有流程，即后端开发人员部署时，只需要将数据读取后，调用PMML文件，然后就能得到输出数据，而不用关注数据转化、模型参数等问题，加快了模型的部署效率。

二、PMML模型的生成和加载相关类库

PMML模型的生成相关的库需要看我们使用的离线训练库。如果我们使用的是sklearn，那么可以使用sklearn2pmml这个python库来做模型文件的生成；如果训练的模型是xgboost，也可以使用nyoka库中的xgboost_to_pmml导出pmml模型文件；

加载PMML模型需要目标环境支持PMML加载的库，如果是JAVA，则可以用JPMML来加载PMML模型文件；如果是python，使用pypmml来加载模型文件；

三、PMML总结与思考

1. PMML为了满足跨平台，牺牲了很多平台独有的优化，所以很多时候我们用算法库自己的保存模型的API得到的模型文件，要比生成的PMML模型文件小很多。同时PMML文件加载速度也比算法库自己独有格式的模型文件加载慢很多。
2. PMML加载得到的模型和算法库自己独有的模型相比，预测会有一点点的偏差，当然这个偏差并不大。比如某一个样本，用sklearn的决策树模型预测为类别1，但是如果我们把这个决策树落盘为一个PMML文件，并用JAVA加载后，继续预测刚才这个样本，有较小的概率出现预测的结果不为类别1.
3. 对于超大模型，比如大规模的集成学习模型，比如xgboost, 随机森林，或者tensorflow，生成的PMML文件很容易得到几个G，甚至上T（根据实践经验，训练的数据集越大，pmml模型文件就越大），这时使用PMML文件加载预测速度会非常慢，此时推荐为模型建立一个专有的环境，就没有必要去考虑跨平台了。

参考：
https://cloud.tencent.com/developer/article/1596754
https://zhuanlan.zhihu.com/p/30378213
https://zhuanlan.zhihu.com/p/458117655