H2O的MOJO使用

什么是POJO

H2O允许用户将现有模型生成POJO(java原生对象)，POJOs允许用户使用H2O生成模型然后使用这个模型进行实时分析。

什么是MOJO

MOJO是H2O支持的POJO的替代品，和POJO一样，H2O允许你把现有模型构建成MOJO并进行实时分析。

MOJO只支持默认或枚举的编码

 

MOJO的优势

相较于pojo，mojo没有大小限制(POJO不支持大于1G的源文件)，MOJO生成的可执行文件小得多，速度也快得多。

在大范围内，与pojo相比，新模型在磁盘空间上大约小20-25倍，在hot scoring时快2-3倍(在JVM能够优化典型执行路径之后)，在cold scoring时快10-40倍(当JVM还不知道执行路径时)。模型的尺寸越大，这些效率收益就越大。

H2O利用深度为25的5000棵树模型进行了室内测试。在非常小的尺度下(50棵树/ 5个深度)，pojo比二项式和回归模型的mojo大约快10%，但是比多项式模型的mojo慢50%。

MOJO quick start

使用python创建和抽取模型(这里如果使用flow可以直接存储mojo模型)

1. 打开命令行启动python
2. 运行下列命令生成gbm模型

           import h2o
           from h2o.estimators.gbm import H2OGradientBoostingEstimator
           h2o.init()
           h2o_df = h2o.load_dataset("prostate.csv")
           h2o_df["CAPSULE"] = h2o_df["CAPSULE"].asfactor()
           model=H2OGradientBoostingEstimator(distribution="bernoulli",
                                              ntrees=100,
                                              max_depth=4,
                                              learn_rate=0.1)
           model.train(y="CAPSULE",
                       x=["AGE","RACE","PSA","GLEASON"],
                       training_frame=h2o_df)

    

3. 下载mojo并生成h2o-genmodel.jar文件到experiment 文件夹中. 确认指定MOJO的完全路径，不光是相对路径

           modelfile = model.download_mojo(path="~/experiment/", get_genmodel_jar=True)
                   print("Model saved to " + modelfile)
                   Model saved to /Users/user/GBM_model_python_1475248925871_888.zip

    

编译运行MOJO

打开新命令行，输入

 cd experiment

在experiment 文件夹下创建一个main.java文件,包括以下内容

import java.io.*;
import hex.genmodel.easy.RowData;
import hex.genmodel.easy.EasyPredictModelWrapper;
import hex.genmodel.easy.prediction.*;
import hex.genmodel.MojoModel;

        public class main {
          public static void main(String[] args) throws Exception {
            EasyPredictModelWrapper model = new EasyPredictModelWrapper(MojoModel.load("GBM_model_R_1475248925871_74.zip"));

            RowData row = new RowData();
            row.put("AGE", "68");
            row.put("RACE", "2");
            row.put("DCAPS", "2");
            row.put("VOL", "0");
            row.put("GLEASON", "6");

            BinomialModelPrediction p = model.predictBinomial(row);
            System.out.println("Has penetrated the prostatic capsule (1=yes; 0=no): " + p.label);
            System.out.print("Class probabilities: ");
            for (int i = 0; i < p.classProbabilities.length; i++) {
              if (i > 0) {
                System.out.print(",");
              }
              System.out.print(p.classProbabilities[i]);
            }
            System.out.println("");
          }
        }

GBM 和DRF 算法返回分类概率, 不是所有的MOJO都会返回分类概率域. 参考MOJO每个算法的模型预定义. This is available in the H2O-3 GitHub repo at: 

https://github.com/h2oai/h2o-3/tree/master/h2o-genmodel/src/main/java/hex/genmodel/easy/prediction.

GBM和DRF算法还会返回叶节点赋值域，但是由于会增加计算量，所以会减慢MOJO的计算速度。下列代码体现了怎么返回叶节点赋值

         import java.io.*;
         import hex.genmodel.easy.RowData;
         import hex.genmodel.easy.EasyPredictModelWrapper;
         import hex.genmodel.easy.prediction.*;
         import hex.genmodel.MojoModel;

         public class main {
           public static void main(String[] args) throws Exception {
             EasyPredictModelWrapper.Config config = new EasyPredictModelWrapper.Config().setModel(MojoModel.load("GBM_model_R_1475248925871_74.zip")).setEnableLeafAssignment(true);
             EasyPredictModelWrapper model = new EasyPredictModelWrapper(config);

             RowData row = new RowData();
             row.put("AGE", "68");
             row.put("RACE", "2");
             row.put("DCAPS", "2");
             row.put("VOL", "0");
             row.put("GLEASON", "6");

             BinomialModelPrediction p = model.predictBinomial(row);
             System.out.println("Has penetrated the prostatic capsule (1=yes; 0=no): " + p.label);
             System.out.print("Class probabilities: ");
             for (int i = 0; i < p.classProbabilities.length; i++) {
               if (i > 0) {
             System.out.print(",");
               }
               System.out.print(p.classProbabilities[i]);
             }

             System.out.println("Leaf node assighnments: ");
             for (int i=0; i < p.leafNodeAssignments; i++) {
               if (i > 0) {
               System.out.print.(p.leafNodeAssignments[i]);
               }
             }
             System.out.println("");
           }
         }
        

重启一个命令行进行编译和运行，执行下列命令

        $ javac -cp h2o-genmodel.jar -J-Xms2g -J-XX:MaxPermSize=128m main.java

        # Linux and OS X users
        $ java -cp .:h2o-genmodel.jar main

        # Windows users
        $ java -cp .;h2o-genmodel.jar main

输出如下：

怎样查看MOJO模型

H2O打包了一个将二进制MOJO文件转化成可视化图形的工具，这个工具提供将图中的点转化成图形的输出。

这个是GBM模型的输出示例