docker之搭建tensorflow server服务环境

目录

模型构建

模型保存

传统方法checkpoint

为tesorflow serving准备的模型保存方法

使用saved_model_cli show命令pb模型的输入输出接口

通过docker部署模型

启动在线服务

方法一

方法二

测试服务是否正常启动

使用多种方式调用模型

使用gRPC

使用REST

使用tensorflow_model_server启动服务

端口占用问题解决

其他测试 pd能够正常服务的方法

1.curl命令

2.直接使用requests

其他重要参考1：用Docker容器自带的tensorflow serving部署模型对外服务（成功率100%）

ckpt文件转pb文件

输入数据的预处理可以采用中转服务（tornado服务）

其他重要参考2：构建并用 TensorFlow Serving 部署 Wide & Deep 模型（批量预测）

---

相关参考：https://blog.csdn.net/zb1165048017/article/details/100527880

因为该参考文章已经总结的很好了，本文主要是参考该文章使用docker搭建和使用tensorflow server在线服务环境，并进行了验证和测试。所以文字部分基本是上篇文章的文字，实验部分则记录了进行了更为详细的说明和结果截图。另外，本文进行了其他线管内容的补充。

 

国际惯例，参考博客：

tensorflow官方文档：低阶API保存和恢复

tensorflow官方文档：tensorflow serving

tensorflow github案例：mnist和resnet

Tensorflow SavedModel模型的保存与加载

如何用TF Serving部署TensorFlow模型

Tensorflow Serving | Tensorflow Serving

Tensorflow使用SavedModel格式模型

我们给你推荐一种TensorFlow模型格式

使用 TensorFlow Serving 和 Docker 快速部署机器