java调用keras离线训练的图片识别模型进行在线预测

目前深度学习主要使用Python训练自己的模型，其中Keras提供了heigh-level语法，后端可采用Tensorflow或者Theano。

但是在实际应用时，大多数公司仍是使用java作为应用系统后台。于是便有了Python离线训练模型，Java调用模型实现在线预测。

Java调用Keras模型有两种方案，一种是基于Java的深度学习库DL4J导入Keras模型，另外一种是利用Tensorflow的java接口调用。DL4J目前暂不支持嵌套模型的导入，下面仅介绍第二种方案。

想要利用Tensorflow的java接口调用Keras模型，就需要将Keras保存的模型文件（.h5）转换为Tensorflow的模型文件（.pb）。

GitHub 已经有大神写了一个转换工具可以很方便的将Keras模型转Tensorflow模型，你只需要输入原模型文件的位置 和 目标模型文件的位置即可。

Keras的模型可以通过model.save() 方法保存为一个单独的模型文件（model.h5），此模型文件包含网络结构和权重参数。

此种模型可通过以下代码将Keras模型转换为Tensorflow模型：

python keras_to_tensorflow.py 
    --input_model="path/to/keras/model.h5" 
    --output_model="path/to/save/model.pb"

Keras的模型也可以通过 model.to_json() 和 model.save_weight()  来分开保存模型的结构（model.json）和 权重参数（weights.h5）。

此种模型可通过以下代码将Keras模型转换为Tensorflow模型：

python keras_to_tensorflow.py 
    --input_model="path/to/keras/model.h5" 
    --input_model_json="path/to/keras/model.json" 
    --output_model="path/to/save/model.pb"

转换之后便可在Java中愉快的对model.pb进行调用了。

java端的调用代码可使用官方提供的LabelImage，用起来很舒服，只需要替换代码里需要指定模型输入和输出的名称即可。

部分代码如下：

private static float[] executeInceptionGraph(byte[] graphDef, Tensor<Float> image) {// 调用模型graphDef
																						// 并输入图片image
																						// 进行预测
		long invokeGraphPre = System.currentTimeMillis();																				// ，得到结果
		try (Graph g = new Graph()) {
			g.importGraphDef(graphDef);
		long invokeGraphAft = System.currentTimeMillis();	
		logger.debug("加载模型用时:"+(invokeGraphAft - invokeGraphPre));
			try (Session s = new Session(g);
					// Generally, there may be multiple output tensors, all of
					// them must be closed to prevent resource leaks.
					
					Tensor<Float> result = s.runner().feed("inception_v3_input", image).fetch("dense_3/Softmax").run()
							.get(0).expect(Float.class)) {
				final long[] rshape = result.shape();
				if (result.numDimensions() != 2 || rshape[0] != 1) {
					throw new RuntimeException(String.format(
							"Expected model to produce a [1 N] shaped tensor where N is the number of labels, instead it produced one with shape %s",
							Arrays.toString(rshape)));
				}
				int nlabels = (int) rshape[1];
				return result.copyTo(new float[1][nlabels])[0];
			}
		}
	}

遇到的问题：

Java 在调用转换之后的model.pb 的时候，预测结果混乱，本来是五分类的模型，实际预测结果绝大部分仅在两个分类之间跳动，而且和标签基本不一致。起初，找不到原因，在GitHub上看到有相同问题，起初认为是转换工具的原因，就尝试用DL4J去直接调用Keras模型，各种报错，最后发现是因为同事给我Keras模型是嵌套的，DL4J暂不支持嵌套模型的调用。于是回头继续研究之前的做法，偶然间发现有人在转换之后预测结果混乱的原因是图片格式问题，灵机一动，去查看LabelImage示例代码中：

 private static Tensor<Float> constructAndExecuteGraphToNormalizeImage(byte[] imageBytes) {
    try (Graph g = new Graph()) {
      GraphBuilder b = new GraphBuilder(g);
      // Some constants specific to the pre-trained model at:
      // https://storage.googleapis.com/download.tensorflow.org/models/inception5h.zip
      //
      // - The model was trained with images scaled to 224x224 pixels.
      // - The colors, represented as R, G, B in 1-byte each were converted to
      //   float using (value - Mean)/Scale.
      final int H = 224;
      final int W = 224;
      final float mean = 117f;
      final float scale = 1f;

      // Since the graph is being constructed once per execution here, we can use a constant for the
      // input image. If the graph were to be re-used for multiple input images, a placeholder would
      // have been more appropriate.
      final Output<String> input = b.constant("input", imageBytes);
      final Output<Float> output =
          b.div(
              b.sub(
                  b.resizeBilinear(
                      b.expandDims(
                          b.cast(b.decodeJpeg(input, 3), Float.class),
                          b.constant("make_batch", 0)),
                      b.constant("size", new int[] {H, W})),
                  b.constant("mean", mean)),
              b.constant("scale", scale));
      try (Session s = new Session(g)) {
        // Generally, there may be multiple output tensors, all of them must be closed to prevent resource leaks.
        return s.runner().fetch(output.op().name()).run().get(0).expect(Float.class);
      }
    }
  }

mean和scale的设置为117f、1f。

将两个参数全部改为128f之后，预测结果恢复正常！完全匹配。

work done!