机器学习模型导出为PMML的方法

最新推荐文章于 2024-08-07 14:48:28 发布
最新推荐文章于 2024-08-07 14:48:28 发布
阅读量4.7k 收藏 8
点赞数
文章标签： 机器学习 PMML sklearn 上线部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sjtulgl/article/details/90913165
版权

机器学习模型导出为PMML的方法

背景

训练好的机器学习模型需要上线部署，需要转为PMML格式。

系统准备

1、python安装sklearn2pmml包；
2、安装java并且添加到环境变量。

以xgboost模型生成PMML文件举例演示

import pandas as pd
from xgboost import XGBClassifier
import sklearn2pmml
from sklearn.datasets import load_breast_cancer

dataset = load_breast_cancer()
X = pd.DataFrame(dataset.data)
X.columns = dataset.feature_names
model = XGBClassifier(n_estimators=5)
pipeline = sklearn2pmml.PMMLPipeline([('classifier',model)])
pipeline.fit(X, dataset.target)
sklearn2pmml.sklearn2pmml(pipeline, 'model.pmml.xml')

生成的PMML格式文件

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<PMML xmlns="http://www.dmg.org/PMML-4_3" xmlns:data="http://jpmml.org/jpmml-model/InlineTable" version="4.3">
	<Header>
		<Application name="JPMML-SkLearn" version="1.5.14"/>
		<Timestamp>2019-06-06T01:51:01Z</Timestamp>
	</Header>
	<DataDictionary>
		<DataField name="y" optype="categorical" dataType="integer">
			<Value value="0"/>
			<Value value="1"/>
		</DataField>
		<DataField name="mean texture" optype="continuous" dataType="float"/>
		<DataField name="mean smoothness" optype="continuous" dataType="float"/>
		<DataField name="mean concave points" optype="continuous" dataType="float"/>
		<DataField name="radius error" optype="continuous" dataType="float"/>
		<DataField name="texture error" optype="continuous" dataType="float"/>
		<DataField name="perimeter error" optype="continuous" dataType="float"/>
		<DataField name="area error" optype="continuous" dataType="float"/>
		<DataField name="concave points error" optype="continuous" dataType="float"/>
		<DataField name="worst radius" optype="continuous" dataType="float"/>
		<DataField name="worst texture" optype="continuous" dataType="float"/>
		<DataField name="worst perimeter" optype="continuous" dataType="float"/>
		<DataField name="worst smoothness" optype="continuous" dataType="float"/>
		<DataField name="worst concavity" optype="continuous" dataType="float"/>
		<DataField name="worst concave points" optype="continuous" dataType="float"/>
	</DataDictionary>
	<MiningModel functionName="classification" algorithmName="XGBoost (GBTree)" x-mathContext="float">
		<MiningSchema>
			<MiningField name="y" usageType="target"/>
			<MiningField name="mean texture"/>
			<MiningField name="mean smoothness"/>
			<MiningField name="mean concave points"/>
			<MiningField name="radius error"/>
			<MiningField name="texture error"/>
			<MiningField name="perimeter error"/>
			<MiningField name="area error"/>
			<MiningField name="concave points error"/>
			<MiningField name="worst radius"/>
			<MiningField name="worst texture"/>
			<MiningField name="worst perimeter"/>
			<MiningField name="worst smoothness"/>
			<MiningField name="worst concavity"/>
			<MiningField name="worst concave points"/>
		</MiningSchema>
		<Segmentation multipleModelMethod="modelChain">
			<Segment id="1">
				<True/>
				<MiningModel functionName="regression" x-mathContext="float">
					<MiningSchema>
						<MiningField name="mean texture"/>
						<MiningField name="mean smoothness"/>
						<MiningField name="mean concave points"/>
						<MiningField name="radius error"/>
						<MiningField name="texture error"/>
						<MiningField name="perimeter error"/>
						<MiningField name="area error"/>
						<MiningField name="concave points error"/>
						<MiningField name="worst radius"/>
						<MiningField name="worst texture"/>
						<MiningField name="worst perimeter"/>
						<MiningField name="worst smoothness"/>
						<MiningField name="worst concavity"/>
						<MiningField name="worst concave points"/>
					</MiningSchema>
					<Output>
						<OutputField name="xgbValue" optype="continuous" dataType="float" feature="predictedValue" isFinalResult="false"/>
					</Output>
					<Segmentation multipleModelMethod="sum">
						<Segment id="1">
							<True/>
							<TreeModel functionName="regression" missingValueStrategy="none" noTrueChildStrategy="returnLastPrediction" splitCharacteristic="multiSplit" x-mathContext="float">
								<MiningSchema>
									<MiningField name="mean texture"/>
									<MiningField name="mean concave points"/>
									<MiningField name="radius error"/>
									<MiningField name="worst radius"/>
									<MiningField name="worst texture"/>
									<MiningField name="worst concavity"/>
									<MiningField name="worst concave points"/>
								</MiningSchema>
								<Node score="0.19397591">
									<True/>
									<Node score="0.13846155">
										<SimplePredicate field="worst radius" operator="greaterOrEqual" value="16.795"/>
										<Node score="-0.022222223">
											<SimplePredicate field="mean texture" operator="greaterOrEqual" value="16.11"/>
											<Node score="-0.19534884">
												<SimplePredicate field="worst concavity" operator="greaterOrEqual" value="0.1907"/>
											</Node>
										</Node>
										<Node score="-0.13333334">
											<SimplePredicate field="mean concave points" operator="greaterOrEqual" value="0.066259995"/>
										</Node>
									</Node>
									<Node score="0.09565218">
										<SimplePredicate field="worst concave points" operator="greaterOrEqual" value="0.1358"/>
										<Node score="-0.13548388">
											<SimplePredicate field="worst texture" operator="greaterOrEqual" value="25.67"/>
										</Node>
									</Node>
									<Node score="0.022222223">
										<SimplePredicate field="radius error" operator="greaterOrEqual" value="0.6431"/>
									</Node>
								</Node>
							</TreeModel>
						</Segment>
						<Segment id="2">
							<True/>
							<TreeModel functionName="regression" missingValueStrategy="none" noTrueChildStrategy="returnLastPrediction" splitCharacteristic="multiSplit" x-mathContext="float">
								<MiningSchema>
									<MiningField name="mean concave points"/>
									<MiningField name="area error"/>
									<MiningField name="worst radius"/>
									<MiningField name="worst texture"/>
									<MiningField name="worst concavity"/>
									<MiningField name="worst concave points"/>
								</MiningSchema>
								<Node score="0.17654903">
									<True/>
									<Node score="0.12931876">
										<SimplePredicate field="worst radius" operator="greaterOrEqual" value="16.795"/>
										<Node score="-0.020989144">
											<SimplePredicate field="worst texture" operator="greaterOrEqual" value="19.91"/>
											<Node score="-0.17803843">
												<SimplePredicate field="worst concavity" operator="greaterOrEqual" value="0.1907"/>
											</Node>
										</Node>
										<Node score="-0.12390131">
											<SimplePredicate field="mean concave points" operator="greaterOrEqual" value="0.070820004"/>
										</Node>
									</Node>
									<Node score="0.087922364">
										<SimplePredicate field="worst concave points" operator="greaterOrEqual" value="0.1358"/>
										<Node score="-0.12419658">
											<SimplePredicate field="worst texture" operator="greaterOrEqual" value="25.67"/>
										</Node>
									</Node>
									<Node score="0.019106947">
										<SimplePredicate field="area error" operator="greaterOrEqual" value="48.975"/>
									</Node>
								</Node>
							</TreeModel>
						</Segment>
						<Segment id="3">
							<True/>
							<TreeModel functionName="regression" missingValueStrategy="none" noTrueChildStrategy="returnLastPrediction" splitCharacteristic="multiSplit" x-mathContext="float">
								<MiningSchema>
									<MiningField name="mean smoothness"/>
									<MiningField name="mean concave points"/>
									<MiningField name="concave points error"/>
									<MiningField name="worst texture"/>
									<MiningField name="worst perimeter"/>
									<MiningField name="worst smoothness"/>
									<MiningField name="worst concave points"/>
								</MiningSchema>
								<Node score="0.16095768">
									<True/>
									<Node score="-0.0440385">
										<SimplePredicate field="worst perimeter" operator="greaterOrEqual" value="105.95"/>
										<Node score="-0.008407075">
											<SimplePredicate field="mean concave points" operator="greaterOrEqual" value="0.048864998"/>
											<Node score="-0.16484869">
												<SimplePredicate field="worst texture" operator="greaterOrEqual" value="20.645"/>
											</Node>
										</Node>
										<Node score="0.14061172">
											<SimplePredicate field="concave points error" operator="greaterOrEqual" value="0.0101255"/>
										</Node>
									</Node>
									<Node score="-0.017814701">
										<SimplePredicate field="worst concave points" operator="greaterOrEqual" value="0.1589"/>
										<Node score="-0.10992744">
											<SimplePredicate field="mean smoothness" operator="greaterOrEqual" value="0.108950004"/>
										</Node>
									</Node>
									<Node score="0.015987273">
										<SimplePredicate field="worst smoothness" operator="greaterOrEqual" value="0.17825"/>
									</Node>
								</Node>
							</TreeModel>
						</Segment>
						<Segment id="4">
							<True/>
							<TreeModel functionName="regression" missingValueStrategy="none" noTrueChildStrategy="returnLastPrediction" splitCharacteristic="multiSplit" x-mathContext="float">
								<MiningSchema>
									<MiningField name="mean texture"/>
									<MiningField name="mean concave points"/>
									<MiningField name="worst radius"/>
									<MiningField name="worst perimeter"/>
									<MiningField name="worst concavity"/>
									<MiningField name="worst concave points"/>
								</MiningSchema>
								<Node score="0.15114407">
									<True/>
									<Node score="0.12114004">
										<SimplePredicate field="worst radius" operator="greaterOrEqual" value="16.795"/>
										<Node score="-0.021503419">
											<SimplePredicate field="mean texture" operator="greaterOrEqual" value="16.11"/>
											<Node score="-0.15504909">
												<SimplePredicate field="worst concavity" operator="greaterOrEqual" value="0.1907"/>
											</Node>
										</Node>
										<Node score="-0.114376836">
											<SimplePredicate field="mean concave points" operator="greaterOrEqual" value="0.066259995"/>
										</Node>
									</Node>
									<Node score="-0.013891182">
										<SimplePredicate field="worst concave points" operator="greaterOrEqual" value="0.16029999"/>
										<Node score="-0.1359692">
											<SimplePredicate field="worst perimeter" operator="greaterOrEqual" value="98.26"/>
										</Node>
									</Node>
									<Node score="0.036950365">
										<SimplePredicate field="worst concave points" operator="greaterOrEqual" value="0.1358"/>
									</Node>
								</Node>
							</TreeModel>
						</Segment>
						<Segment id="5">
							<True/>
							<TreeModel functionName="regression" missingValueStrategy="none" noTrueChildStrategy="returnLastPrediction" splitCharacteristic="multiSplit" x-mathContext="float">
								<MiningSchema>
									<MiningField name="texture error"/>
									<MiningField name="perimeter error"/>
									<MiningField name="worst radius"/>
									<MiningField name="worst concavity"/>
									<MiningField name="worst concave points"/>
								</MiningSchema>
								<Node score="0.1425488">
									<True/>
									<Node score="0.05848614">
										<SimplePredicate field="worst radius" operator="greaterOrEqual" value="16.795"/>
										<Node score="0.013335379">
											<SimplePredicate field="texture error" operator="greaterOrEqual" value="0.49229997"/>
											<Node score="-0.14551087">
												<SimplePredicate field="worst concavity" operator="greaterOrEqual" value="0.1907"/>
											</Node>
										</Node>
									</Node>
									<Node score="-0.010981116">
										<SimplePredicate field="worst concave points" operator="greaterOrEqual" value="0.16029999"/>
										<Node score="-0.12878385">
											<SimplePredicate field="perimeter error" operator="greaterOrEqual" value="1.891"/>
										</Node>
									</Node>
									<Node score="0.03379069">
										<SimplePredicate field="worst concave points" operator="greaterOrEqual" value="0.1358"/>
									</Node>
								</Node>
							</TreeModel>
						</Segment>
					</Segmentation>
				</MiningModel>
			</Segment>
			<Segment id="2">
				<True/>
				<RegressionModel functionName="classification" normalizationMethod="logit" x-mathContext="float">
					<MiningSchema>
						<MiningField name="y" usageType="target"/>
						<MiningField name="xgbValue"/>
					</MiningSchema>
					<Output>
						<OutputField name="probability(0)" optype="continuous" dataType="float" feature="probability" value="0"/>
						<OutputField name="probability(1)" optype="continuous" dataType="float" feature="probability" value="1"/>
					</Output>
					<RegressionTable intercept="0.0" targetCategory="1">
						<NumericPredictor name="xgbValue" coefficient="1.0"/>
					</RegressionTable>
					<RegressionTable intercept="0.0" targetCategory="0"/>
				</RegressionModel>
			</Segment>
		</Segmentation>
	</MiningModel>
</PMML>
故园稻香
关注
机器学习模型部署—PMML
阿黎逸阳的博客
08-03 2120
机器学习模型部署——PMML
Python XGBoost保存模型PMML
为援不可图
07-23 5057
PMML简介 PMML全称预言模型标记语言（Predictive Model Markup Language），利用XML描述和存储数据挖掘模型。PMML是一种跨平台调用模型，加入使用Python训练好一个机器学习模型后，保存为pkl模型，那么在java上不是能进行使用的，这时就需要将模型转为PMML，这也是其有效之处。 优点 1、PMML模型可以跨平台调用，既可以在java环境运行，也可Python环境运行（Python调用的话为什么不用pkl更直接呢） 2、支持更多开源语言 缺点 1、Python调用P
Spark之导出PMML文件（Python）
山阴少年
12-04 4818
本文将介绍如何在Spark中导出PMML文件（Python语言）。
lightgbm模型保存为pmml文件，并加载
最新发布
m0_63841024的博客
08-07 501
5.在pmml-lightgbm-example目录下会生成target文件，target目录下会生成.jar文件7.在此目录下可生成.pmml文件。
4模型导出_机器学习模型部署—PMML
weixin_35926197的博客
01-08 1437
之前阐述了逻辑回归、孤立森林等建模方法，本文介绍如何把建好的模型保存为标准格式(PMML文件)。那么，什么情况下需要把模型保存为PMML文件？当模型需要跨平台部署或反复调用时，可以把模型保存为PMML文件。比如最近要上线一个反欺诈模型(用的GBDT)。训练模型用的Python(里面有很多现成的库，构建机器学习模型较方便)，生产调用用的Java(写机器学习模型非常麻烦)。这时需要在Pyth...
XGBoost模型文件转化为PMML
热门推荐
SYP'S Blog
08-13 1万+
运用java包和指令行讲XGBoost模型转化为PMML通用模型文件。 前期准备 下载jpmml-xgboost, https://github.com/jpmml/jpmml-xgboost/archive/master.zip ；安装java1.7或以上版本；安装 Apache Maven。 配置环境 在终端进入项目的根目录，执行：   mvn clean
机器学习预测模型导出pmml文件
QYHuiiQ
07-28 1125
from sklearn.datasets import load_iris from sklearn.ensemble import RandomForestClassifier from sklearn2pmml import PMMLPipeline, sklearn2pmml import pandas as pd from pandas import DataFrame iris =...
使用PMML部署机器学习模型
关注AI/ML模型上线、模型部署
09-11 3893
介绍了PMML这种跨平台机器学习模型表示标准，PMML的优缺点，常用的PMML开源类库(Nyoka、JPMML、PMML4S、PyPMML等)，以及演示了如何生成和使用PMML
机器学习模型保存为PMML格式
开着房车去大理的数字游民
03-25 1249
PMML模型文件可以实现跨平台迁移，python和java都可以生成PMML文件，python和java都可以读取PMML文件
nyoka：Nyoka是用于将MLDL模型导出到PMML（PMML 4.4.1标准）的Python库。
02-05
使用Nyoka，数据科学家可以通过使用包括在内的众多即用型导出器中的任何一种，或者通过创建自己的专用于/专用模型类型的导出器，将流行的Python框架中的大量机器学习和深度学习模型导出到PMML中。只需调用一系列...
机器学习-lightgbm转pmml
05-15
lightgbm模型转pmml文件，可用于java程序调用，实现在线打分功能。 看网站上有人定价为付费，于是开出积分版本，赚点积分，谢谢支持 使用方法: 1. 生产模型基础文件：python环境下模型训练完后, model.booser_.save...
springboot 实现机器学习_机器学习模型部署：pmml+springboot
weixin_27215337的博客
01-17 1056
工作中，大部分都是使用Python和机器学习库进行建模，但是线上环境基本上都是Java开发的，所以如何将我们训练好的模型部署到线上始终是一个问题。PMML就是针对这一问题的解决办法。1．PMML概述PMML全称预测模型标记语言(Predictive Model Markup Language)，利用XML描述和存储数据挖掘模型，是一个已经被W3C所接受的标准。MML是一种基于XML的语言，用来定义...
xgboost导出为pmml模型包
Zeus_daifu的博客
06-06 711
PMML(Predictive Model Markup Language)：预测模型标记语言，它用XML格式来描述生成的机器学习模型，是目前表示机器学习模型的实际标准。若要将在Python中训练好的模型部署到生产上时，可以使用目标环境解析PMML文件的库来加载模型，并做预测。
机器学习模型保存和导出pmml文件（python代码）
gao_的博客
04-26 673
导出当前conda环境的所有包到一个environment.yml文件中，这个文件包含了conda环境中的所有依赖（包名和版本），包括Python包和非Python库，也可以用来完全恢复整个conda环境。训练好的模型通常需要在生产环境中部署和使用，一般导出为PMML（Predictive Model Markup Language）格式，以便在其他平台上使用，能够更加灵活地应用于各种场景。将当前环境中所有已安装的库及其版本信息输出到requirements.txt文件中。
Python生成pmml文件
huangqihao723的博客
03-26 3788
什么是pmml predictive model markup language 预测模型标记语言 1997年7月提出 xml格式 通用性（跨平台）、规范性（规范化模型描述语言）、异构性（xml本身的异构性）、独立性（独立于数据挖掘工具和）、易用性（编辑xml文档） fit / transform / fit_transform的区别 fit：从数据中生成参数 tra...
生成以及调用pmml文件
qq_29632521的博客
08-30 627
from sklearn import tree from sklearn.datasets import load_iris from sklearn2pmml.pipeline import PMMLPipeline from sklearn2pmml import sklearn2pmml if __name__ == '__main__': # 经典数据集 iris = load_iris() # print(iris.keys()) # 样本特征 x...
模型转化成pmml文件的实战
u010970317的博客
10-19 1654
项目场景： sklearn机器学习建模后，为了实现模型跨平台工程化调用功能，考虑将训练好的模型转化为PMML文件，便于JAVA后台调用 实战： 1.简单示例： from sklearn2pmml.pipeline import PMMLPipeline from sklearn2pmml import sklearn2pmml from sklearn.tree import DecisionTreeClassifier import pandas as pd from sklearn.datasets
python模型转PMML
slibra_L的博客
05-21 7142
关于python模型的部署，目前有以下几种方式 flask等python为服务框架，无需跨语言 xgb4j,lgb4j等Java包，需跨语言，但只支持xgb/lgb PMML，跨语言，支持所有sklearn接口的模型 综上所述，当遇到跨语言部署时，PMML是个万金油方式，可以将所有sklearn接口的模型转换为PMML文件，并用JAVA/SCALA相关的包进行解析，然而经过一番调研，网上关于p...
pandas 小技巧——如何生成pmml模型文件
lanyuelvyun的博客
05-11 849
# 生成pmml from lightgbm.sklearn import LGBMClassifier from sklearn2pmml import sklearn2pmml from sklearn2pmml.pipeline import PMMLPipeline # 首先，使用某一种算法训练完成得到一个模型 main_model = LGBMClassifier() # 将训练好的model包装成pmml格式 pipeline = PMMLPipeline([("classifier", ma
lightgbm 模型保存成 pmml
05-15
LightGBM是一种快速、高效、分布式的梯度提升决策树框架，它在机器学习和数据挖掘领域变得越来越流行。它以其良好的准确性和快速训练速度而闻名，也支持直接部署到线上场景。 PMML是一种标准的机器学习模型表示方式，全称Predictive Model Markup Language 。它是一种用于跨不同机器学习框架导出和导入分析模型的文件格式，这个格式是XML（可扩展标记语言）的一种子集。 通过将模型保存为PMML格式，我们可以轻松地将它们部署到其他框架或工具中使用。 如果想将LightGBM的模型保存为PMML格式，则需要使用将模型转换为PMML的库或工具。目前，有一些开源项目可以完成该转换，如jpmml-lightgbm。 具体实现步骤如下： 1. 安装jpmml-lightgbm库：可以通过pip install jpmml-lightgbm安装。 2. 将LightGBM模型加载到Python中：可以使用LightGBM的Python API将模型加载到Python的变量中 3. 使用jpmml-lightgbm库将模型保存为PMML格式：使用jpmml-lightgbm库中的LightGBMExporter类来将模型转化为PMML格式，并输出到指定的文件中。 最后，保存为PMML格式后可以将模型部署到其他机器学习框架或工具中使用。同时还可以通过PMML文件，将模型嵌入Web服务或导入到BI（商业智能）工具中进行分析。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值