最近一段时间研究了如何打通tensorflow线下使用python训练深度学习模型,然后线上使用c++调用预先训练好的模型完成预测的流程。毕竟深度学习模型上线是需要考虑效率的,目前来说c++的效率还是python所不能比的。
这篇文章基于tensorflow 1.2版本写的,tensorflow 1.2版本及以上提供了一种更加方便的c++ API调用python API训练好的模型。但这方面的资料比较少,自己也踩了不少坑,于是写了一个简单的使用tensorflow c++ API调用线下python API训练好的模型的demo,以及如何配置环境和编译。
大体的流程如下:
1.使用tensorflow python API编写和训练自己的模型,训练完成后,使用tensorflow saver 将模型保存下来。
2.使用tensorflow c++ API 构建新的session,读取python版本保存的模型,然后使用session->run()获得模型的输出。
3.编译和运行基于tensorflow c++ API写的代码。
安装Bazel
Bazel是一个类似于Make的工具,是Google为其内部软件开发的特点量身定制的工具,如今Google使用它来构建内部大多数的软件。
在编译 tensorflow c++的时候,需要利用bazel来进行编译的,理论上是可以使用Cmake等其工具来编译的,但是我尝试了好久没有成功,所以最后还是使用了google的bazel进行编译。希望有大神可以把编译方法告诉我~
安装方法按照官方教程走就行。我采用的是直接编译二进制文件的方法,这个最简单直接,首先下载对应版本的二进制文件,然后执行下面的命令即可:
$ chmod +x bazel-version-installer-os.sh
$ ./bazel-version-installer-os.sh --user
下载Tensorflow源码
我们需要将Tensorflow源码下载到本地,后续编译tensorflow c++ 代码需要在这个目录下进行。在这里需要说明的一点是,本文采用的c++ API载入python 预训练模型的方法,是基于tensorflow1.2版本。所以需要下载tensorflow 1.2版本及以上,直接从github上clone即可:
$ git clone -b r1.2 https://github.com/tensorflow/tensorflow.git
使用Tensorflow Python API线下定义模型和训练
这里的话我写了一个十分简单的基于tensorflow的demo&#x