springboot 实现机器学习_机器学习模型部署：pmml+springboot

工作中，大部分都是使用Python和机器学习库进行建模，但是线上环境基本上都是Java开发的，所以如何将我们训练好的模型部署到线上始终是一个问题。PMML就是针对这一问题的解决办法。

1．PMML概述

PMML全称预测模型标记语言(Predictive Model Markup Language)，利用XML描述和存储数据挖掘模型，是一个已经被W3C所接受的标准。MML是一种基于XML的语言，用来定义预测模型。通过使用标准的XML解析器对PMML进行解析，应用程序能够决定模型输入和输出的数据类型，模型详细的格式，并且按照标准的数据挖掘术语来解释模型的结果。PMML提供了一个灵活机制来定义预测模型的模式，同时支持涉及多个预测模型的模型选择和模型平衡(model averaging)。PMML既可以呈现用于从数据中了解模型的统计技术(如人工神经网络和决策树)，也可以呈现原始输入数据的预处理以及模型输出的后处理。

PMML文件的结构遵从了用于构建预测解决方案的常用步骤，包括：

1.数据词典，可以识别和定义哪些输入数据字段对于解决眼前的问题是最有用的，包括数值、顺序和分类字段。

2.挖掘架构，定义了处理缺少值和离群值的策略。这非常有用，因为通常情况，当将模型应用于实践时，所需的输入数据字段可能为空或者被误呈现。

3.数据转换，定义了将原始输入数据预处理至派生字段所需的计算。派生字段(有时也称为特征检测器)对输入字段进行合并或修改，以获取更多相关信息。例如，为了预测停车所需的制动压力，一个预测模型可能将室外温度和水的存在(是否在下雨？)作为原始数据。派生字段可能会将这两个字段结合起来，以探测路上是否结冰。然后结冰字段被作为模型的直接输入来预测停车所需的制动压力。

4.模型定义，定义了用于构建模型的结构和参数。PMML涵盖了多种统计技术。例如，为了呈现一个神经网络，它定义了所有的神经层和神经元之间的连接权重。对于一个决策树来说，它定义了所有树节点及简单和复合谓语。

5.输出，定义了预期模型输出。对于一个分类任务来说，输出可以包括预测类及与所有可能类相关的概率。

6.目标，定义了应用于模型输出的后处理步骤。对于一个回归任务来说，此步骤支持将输出转变为人们很容易就可以理解的分数(预测结果)。

7.模型解释，定义了将测试数据传递至模型时获得的性能度量标准。这些度量标准包括字段相关性、混淆矩阵、增益图及接收者操作特征(ROC)曲线图。

8.模型验证，定义了一个包含输入数据记录和预期模型输出的示例集。这是非常重要的一个步骤，因为在应用程序之间移动模型时，该模型需要通过匹配测试。这样就可以确保，在呈现相同的输入时，新系统可以生成与旧系统同样的输出。如果实际情况是这样的话，一个模型将被认为经过了验证，且随时可用于实践。

2．PMML深度解析

如上所述，PMML的结构反映了常用于创建预测解决方案的八大步骤，从在“数据词典”步骤中定义原始输入数据字段到在“模型验证”步骤中验证模型是否得到正确部署。

表1展示了一个含有三个字段的解决方案中PMML元素DataDictionary的定义，这三个字段是：数值型输入字段Value、分类输入字段Element和数值型输出字段Risk。

表1 DataDictionary元素

对于字段Value，范围从负无穷大到60的值是有效值。高于60的值被定义为无效值。考虑到字段Element是分类的，有效值被明确地列出。如果该特定字段的数据提要包含元素Iron，将该元素作为无效值处理。

上图展示了神经网络模型的图形表示，其中输入层包含3个神经元，隐藏层包含2个神经元，输出层包含1个神经元。如您所期望的，PMML可以完全呈现这样一个结构。

表2展示了隐藏层及其神经元以及输入层(0、1和2)和隐藏层(3和4)中神经元的连接权重的定义。

表2 在PMML中定义神经层及其神经元

PMML不是一件艰难的事。其复杂程度反映了其呈现的建模技术的复杂程度。事实上，它揭开了许多人感到神秘的预测分析的秘密和黑匣子。利用PMML，任何预测解决方案都可以采用同样的顺序用同一种语言元素呈现。

3．SAX解析xml文件

SAX(simple API for XML)是一种XML解析的替代方法。相比于DOM，SAX是一种速度更快，更有效的方法。它逐行扫描文档，一边扫描一边解析。而且相比于DOM，SAX可以在解析文档的任意时刻停止解析，但任何事物都有其相反的一面，对于SAX来说就是操作复杂。

SAX是事件驱动型XML解析的一个标准接口，对文档进行顺