TensorFlow学习记录：用TensorFlow_Serving部署模型并进行远程使用

最新推荐文章于 2022-03-01 11:12:18 发布

Barcelooooooooona

最新推荐文章于 2022-03-01 11:12:18 发布

阅读量1.4k

点赞数

分类专栏：深度学习 TensorFlow 文章标签： TensorFlow TF_Serving 部署TensorFlow模型

本文链接：https://blog.csdn.net/weixin_41137655/article/details/99623591

版权

本文详细介绍了如何使用TensorFlow_Serving在Linux环境下部署模型，包括安装TF_Serving、固定模型签名、启动服务以及通过HTTP/REST API进行远程访问。重点讲解了签名定义、服务启动、POST请求的json数据格式及返回结果解析，提供了CURL命令和Python脚本示例。

摘要由CSDN通过智能技术生成

训练好的模型在使用过程中有多种场景。TensorFlow中提供了一种TF_Serving接口，可以将带有签名的模型部署在远端服务器上，并以服务的方式对外提供借口。之前学习过saved_model模块的用法（详情请点击这里），简单点说saved_model模块就是为了实现TensorFlow Serving（以下简称TF_Serving）功能的。

gRPC服务、HTTP/REST API是TF_Serving模块对外支持服务的两种通信技术。通过这两种通信技术，可以远程使用TensorFlow模型。

本文使用的线性回归模型（y≈2x）代码如下：

#使用静态图训练一个具有检查点的回归模型

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

#（1）生成模拟数据
train_X = np.linspace(-1, 1, 100)
train_Y = 2 * train_X + np.random.randn(*train_X.shape) * 0.3 # y=2x，但是加入了噪声
#图形显示
plt.plot(train_X, train_Y, 'ro', label='Original data')
plt.legend()
plt.show()

tf.reset_default_graph()

#（2）建立网络模型

# 创建模型
# 占位符
X = tf.placeholder("float")
Y = tf.placeholder("float")
# 模型参数
W = tf.Variable(tf.random_normal([1]), name="weight")
b = tf.Variable(tf.zeros([1]), name="bias")
# 前向结构
z = tf.multiply(X, W)+ b
global_step = tf.Variable(0, name='global_step', trainable=False)
#反向优化
cost =tf.reduce_mean( tf.square(Y - z))
learning_rate = 0.01
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost,global_step) #梯度下降

# 初始化所有变量
init = tf.global_variables_initializer()
# 定义学习参数
training_epochs = 28
display_step