什么是POJO
H2O允许用户将现有模型生成POJO(java原生对象),POJOs允许用户使用H2O生成模型然后使用这个模型进行实时分析。
什么是MOJO
MOJO是H2O支持的POJO的替代品,和POJO一样,H2O允许你把现有模型构建成MOJO并进行实时分析。
MOJO只支持默认或枚举的编码
MOJO的优势
相较于pojo,mojo没有大小限制(POJO不支持大于1G的源文件),MOJO生成的可执行文件小得多,速度也快得多。
在大范围内,与pojo相比,新模型在磁盘空间上大约小20-25倍,在hot scoring时快2-3倍(在JVM能够优化典型执行路径之后),在cold scoring时快10-40倍(当JVM还不知道执行路径时)。模型的尺寸越大,这些效率收益就越大。
H2O利用深度为25的5000棵树模型进行了室内测试。在非常小的尺度下(50棵树/ 5个深度),pojo比二项式和回归模型的mojo大约快10%,但是比多项式模型的mojo慢50%。
MOJO quick start
使用python创建和抽取模型(这里如果使用flow可以直接存储mojo模型)
- 打开命令行启动python
- 运行下列命令生成gbm模型
import h2o from h2o.estimators.gbm import H2OGradientBoostingEstimator h2o.init() h2o_df = h2o.load_dataset("prostate.csv") h2o_df["CAPSULE"] = h2o_df["CAPSULE"].asfactor() model=H2OGradientBoostingEstimator(distribution="bernoulli", ntrees=100, max_depth=4, learn_rate=0.1) model.train(y="CAPSULE", x=["AGE","RACE","PSA","GLEASON"], training_frame=h2o_df)
-
下载mojo并生成h2o-genmodel.jar文件到experiment 文件夹中. 确认指定MOJO的完全路径,不光是相对路径
modelfile = model.download_mojo(path="~/experiment/", get_genmodel_jar=True) print("Model saved to " + modelfile) Model saved to /Users/user/GBM_model_python_1475248925871_888.zip
编译运行MOJO
打开新命令行,输入
cd experiment
在experiment 文件夹下创建一个main.java文件,包括以下内容
import java.io.*;
import hex.genmodel.easy.RowData;
import hex.genmodel.easy.EasyPredictModelWrapper;
import hex.genmodel.easy.prediction.*;
import hex.genmodel.MojoModel;
public class main {
public static void main(String[] args) throws Exception {
EasyPredictModelWrapper model = new EasyPredictModelWrapper(MojoModel.load("GBM_model_R_1475248925871_74.zip"));
RowData row = new RowData();
row.put("AGE", "68");
row.put("RACE", "2");
row.put("DCAPS", "2");
row.put("VOL", "0");
row.put("GLEASON", "6");
BinomialModelPrediction p = model.predictBinomial(row);
System.out.println("Has penetrated the prostatic capsule (1=yes; 0=no): " + p.label);
System.out.print("Class probabilities: ");
for (int i = 0; i < p.classProbabilities.length; i++) {
if (i > 0) {
System.out.print(",");
}
System.out.print(p.classProbabilities[i]);
}
System.out.println("");
}
}
GBM 和DRF 算法返回分类概率, 不是所有的MOJO都会返回分类概率域. 参考MOJO每个算法的模型预定义. This is available in the H2O-3 GitHub repo at:
https://github.com/h2oai/h2o-3/tree/master/h2o-genmodel/src/main/java/hex/genmodel/easy/prediction.
GBM和DRF算法还会返回叶节点赋值域,但是由于会增加计算量,所以会减慢MOJO的计算速度。下列代码体现了怎么返回叶节点赋值
import java.io.*;
import hex.genmodel.easy.RowData;
import hex.genmodel.easy.EasyPredictModelWrapper;
import hex.genmodel.easy.prediction.*;
import hex.genmodel.MojoModel;
public class main {
public static void main(String[] args) throws Exception {
EasyPredictModelWrapper.Config config = new EasyPredictModelWrapper.Config().setModel(MojoModel.load("GBM_model_R_1475248925871_74.zip")).setEnableLeafAssignment(true);
EasyPredictModelWrapper model = new EasyPredictModelWrapper(config);
RowData row = new RowData();
row.put("AGE", "68");
row.put("RACE", "2");
row.put("DCAPS", "2");
row.put("VOL", "0");
row.put("GLEASON", "6");
BinomialModelPrediction p = model.predictBinomial(row);
System.out.println("Has penetrated the prostatic capsule (1=yes; 0=no): " + p.label);
System.out.print("Class probabilities: ");
for (int i = 0; i < p.classProbabilities.length; i++) {
if (i > 0) {
System.out.print(",");
}
System.out.print(p.classProbabilities[i]);
}
System.out.println("Leaf node assighnments: ");
for (int i=0; i < p.leafNodeAssignments; i++) {
if (i > 0) {
System.out.print.(p.leafNodeAssignments[i]);
}
}
System.out.println("");
}
}
重启一个命令行进行编译和运行,执行下列命令
$ javac -cp h2o-genmodel.jar -J-Xms2g -J-XX:MaxPermSize=128m main.java
# Linux and OS X users
$ java -cp .:h2o-genmodel.jar main
# Windows users
$ java -cp .;h2o-genmodel.jar main
输出如下:
怎样查看MOJO模型
H2O打包了一个将二进制MOJO文件转化成可视化图形的工具,这个工具提供将图中的点转化成图形的输出。
这个是GBM模型的输出示例