xgboost的pmml文件转为hive udf

1. 将项目拉到本地

git clone git@github.com:jpmml/jpmml-evaluator-hive.git

2. 进到目录中安装

mvn clean install

3. 将得到的其中一个runtime的`jar`包放到HDFS上

hdfs dfs -put jpmml-evaluator-hive-runtime-1.0-SNAPSHOT.jar somedir/

4. 在hive中加载

add jar {hdfs_home}/somedir/jpmml-evaluator-hive-runtime-1.0-SNAPSHOT.jar;
CREATE TEMPORARY FUNCTION BuildArchive AS 'org.jpmml.evaluator.hive.ArchiveBuilderUDF';
DESCRIBE FUNCTION BuildArchive;
DESCRIBE FUNCTION EXTENDED BuildArchive;

5. 处理pmml

将pmml文件中Output的`probability(1)`、`probability(0)`, 括号替换掉,否则hive无法识别

6. 生成模型jar

三个参数分别是,包名,pmml本地路径,输出jar包的本地路径

SELECT BuildArchive('com.mycompany.XGBPredictor', '/home/model/xgboost_model.pmml', '/home/model/XGBPredictor.jar');

7. 将jar包放到HDFS

hdfs dfs -put XGBPredictor.jar somedir/

8. 加载包

add jar {hdfs_home}/somedir/XGBPredictor.jar;
CREATE TEMPORARY FUNCTION XGBPredictor AS 'com.mycompany.XGBPredictor';
DESCRIBE FUNCTION ModelPredictor;
DESCRIBE FUNCTION EXTENDED T3ModelPredictor;

9. 更改serialization的传输格式,不支持kyro

set hive.plan.serializati
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值