java上使用tensorflow_java通过gRPC整合tensorflow serving——gRPC java入门例子

java通过gRPC整合tensorflow serving——gRPC java入门例子

项目中以前需要把算法同事们train好的tensorflow model包装成服务提供给其他部门应用，一开始我们使用python直接调用tensorflow，然后java和python之间的交互 通过jni或者rabbitmq的方式，这种方式的问题就是调用tensorflow的效率较低，不得不频繁的load model的checkpoint文件，推断执行慢，后来随着tensorflow官方推出tensorflow serving，我们也尝试了这种方式，发现确实可以很大程度上提升推断的性能，从一开始调用tensorflow每一次推断差不多要几秒钟(导致我们的服务一开始基本都是只能提供异步批量处理的方式)，后来的tfserving的方式 耗时降到了百毫秒的级别，使得同步的调用成为现实。

这几篇文章就简单讲一下在实践中，我们是如何通过gRPC整合tensorflow serving调用深度学习模型的。

打算分为以下几个部分

首先必须要知道一些gRPC的基本知识，能用java实现一个客户端和服务器端的小demo 就是本篇gRPC java入门例子

然后是 tensorflow model导出到tensorflow serving的要点讲解

接着是一个完整的java通过gRPC调用tensorflow serving的例子。

下面开始本篇，首先关于gRPC的介绍就不多说了，网上随便一搜都是，什么高性能，以支持移动和HTTP2.0为主的开源RPC协议什么的。。。

我们直接开始java的小demo，我基于Intellij的iDE讲解，eclipse大体也差不多。

1. 首先第一步，新建一个基于gradle构建的java项目，如图

java整合tensorflow serving

然后点下一步，填写maven坐标什么的，按照自己实际情况填写就好了，最后点finish，一个gradle项目就建好了。

2.接着加入相关的依赖和插件

因为我们需要gRPC的支持所以需要加入grpc几个相关的依赖，还有一个protobuf的gradle插件，用于将proto的协议文件生成java源码。

编辑build.gradle 如下

group 'com.xyz'

version '1.0-SNAPSHOT'

repositories {

mavenCentral()

}

buildscript {

repositories {

mavenCentral()

}

dependencies {

classpath 'com.google.protobuf:protobuf-gradle-plugin:0