tensowflow 训练 远程提交_tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优...

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)

4.11 综合案例：模型导出与部署

学习目标

目标

掌握TensorFlow模型的导出(saved_model格式)

掌握Tensorflow模型的部署

掌握TensorFlow模型的客户端调用

掌握TensorFlow模型的超参数调优使用

应用

无

4.11.1 TensorFlow 模型导出

在部署模型时，我们的第一步往往是将训练好的整个模型完整导出为一系列标准格式的文件，然后即可在不同的平台上部署模型文件。这时，TensorFlow 为我们提供了 SavedModel 这一格式。

与前面介绍的 Checkpoint 不同，SavedModel 包含了一个 TensorFlow 程序的完整信息： 不仅包含参数的权值，还包含计算的流程(即计算图) 。

特点：当模型导出为 SavedModel 文件时，无需建立模型的源代码即可再次运行模型，这使得 SavedModel 尤其适用于模型的分享和部署。后文的 TensorFlow Serving(服务器端部署模型)、TensorFlow Lite(移动端部署模型)以及 TensorFlow.js 都会用到这一格式。

除了CheckPointTensorFlow还会有其他格式，这里做统一介绍：部署在线服务(Serving)时官方推荐使用 SavedModel 格式，而部署到手机等移动端的模型一般使用 FrozenGraphDef 格式(最近推出的 TensorFlow Lite 也有专门的轻量级模型格式 *.lite，和 FrozenGraphDef 十分类似)。这些格式之间关系密切，可以使用 TensorFlow 提供的 API 来互相转换。下面简单介绍几种格式：

1、GraphDef

这种格式文件包含 protobuf 对象序列化后的数据，包含了计算图，可以从中得到所有运算符(operators)的细节，也包含张量(tensors)和 Variables 定义，但不包含 Variable 的值，因此只能从中恢复计算图，但一些训练的权值仍需要从 checkpoint 中恢复。

2、*.pb

TensorFlow 一些例程中用到*.pb 文件作为预训练模型，这和上面 GraphDef 格式稍有不同，属于冻结(Frozen)后的 GraphDef 文件，简称 FrozenGraphDef 格式。这种文件格式不包含 Variables 节点。将 GraphDef 中所有 Variable 节点转换为常量(其值从 checkpoint 获取)，就变为 FrozenGraphDef 格式。

3、SavedModel

在使用 TensorFlow Serving 时，会用到这种格式的模型。该格式为 GraphDef 和 CheckPoint 的结合体，另外还有标记模型输入和输出参数的 SignatureDef。从 SavedModel 中可以提取 GraphDef 和 CheckPoint 对象。

其中 saved_model.pb(或 saved_model.pbtxt)包含使用 MetaGraphDef protobuf 对象定义的计算图；assets 包含附加文件；variables 目录包含 tf.train.Saver() 对象调用 save() API 生成的文件。

使用下面的代码即可将模型导出为 SavedModel：

tf.saved_model.save(model, "保存的目标文件夹名称")

在需要载入 SavedModel 文件时，使用即可

model = tf.saved_model.load("保存的目标文件夹名称")

4.11.2 使用案例

1、将之前CIFAE100分类模型进行导出和导入，导出模型到 saved/mlp/1 文件夹中，mlp可以自己指定的一个模型名称，1为版本号，必须提供，后面开启服务需要有版本号

import tensorflow as tf

import os

os.environ["TF_CPP_MIN_LOG_LEVEL"] = "2"

def main():

num_epochs = 1

batch_size = 32

learning_rate = 0.001

model = tf.keras.models.Sequential([

tf.keras.layers.Flatten(),

tf.keras.layers.Dense(120, activation=tf.nn.relu),

tf.keras.layers.Dense(100),

tf.keras.layers.Softmax()

])

(train, train_label), (test, test_label) = \

tf.keras.datasets.cifar100.load_data()

model.compile(

optimizer=tf.keras.optimizers.Adam(learning_rate=learning_rate),

loss=tf.keras.losses.sparse_categorical_crossentropy,

metrics=[tf.keras.metrics.sparse_categorical_accuracy]

)

model.fit(train, train_label, epochs=num_epochs, batch_size=batch_size)

tf.saved_model.save(model, "./saved/mlp/1")

2、并且模型加载出来，测试性能就能够

注意：这里加载模型可以不用初始化之前的模型(不需要)，直接加载到model使用

def test():

model = tf.saved_model.load("./saved/mlp/1")

sparse_categorical_accuracy = tf.keras.metrics.SparseCategoricalAccuracy()

(train, train_label), (test, test_label) = \

tf.keras.datasets.cifar100.load_data()

y_pred = model(test)

sparse_categorical_accuracy.update_state(y_true=test_label,

y_pred=y_pred)

print("test accuracy: %f" % sparse_categorical_accuracy.result())

输出结果

test accuracy: 0.010000

3、自定义的keras模型使用：

使用继承 tf.keras.Model 类建立的 Keras 模型同样可以以相同方法导出，唯须注意 call 方法需要以 @tf.function 修饰，以转化为 SavedModel 支持的计算图，代码如下：

def __init__(self):

super().__init__()

self.flatten = tf.keras.layers.Flatten()

self.dense1 = tf.keras.layers.Dense(units=100, activation=tf.nn.relu)

self.dense2 = tf.keras.layers.Dense(units=10)

@tf.function

def call(self, inputs): # [batch_size, 28, 28, 1]

x = self.flatten(inputs) # [batch_size, 784]

x = self.dense1(x) # [batch_size, 100]

x = self.dense2(x) # [batch_size, 10]

output = tf.nn.softmax(x)

return output

model = MLP()

4.11.3 TensorFlow Serving

背景：当我们将模型训练完毕后，往往需要将模型在生产环境中部署。最常见的方式，是在服务器上提供一个 API，即客户机向服务器的某个 API 发送特定格式的请求，服务器收到请求数据后通过模型进行计算，并返回结果。如果仅仅是做一个 Demo，不考虑高并发和性能问题，其实配合Django、Flask等 Python 下的 Web 框架就能非常轻松地实现服务器 API。不过，如果是在真的实际生产环境中部署，这样的方式就显得力不从心了。这时，TensorFlow 为我们提供了 TensorFlow Serving 这一组件，能够帮助我们在实际生产环境中灵活且高性能地部署机器学习模型。

TensorFlow Serving是一种灵活的高性能服务系统，适用于机器学习模型，专为生产环境而设计。TensorFlow Serving可以轻松部署新算法和实验，同时保持相同的服务器架构和API。TensorFlow Serving提供与TensorFlow模型的开箱即用集成，但可以轻松扩展以提供其他类型的模型和数据。

特点：TensorFlow Serving 支持热更新模型，其典型的模型文件夹结构如下：

/saved_model_files

/1 # 版本号为1的模型文件

/assets

/variables

saved_model.pb

...

/N # 版本号为N的模型文件

/assets

/variables

saved_model.pb

上面 1~N 的子文件夹代表不同版本号的模型。当指定 --model_base_path 时，只需要指定根目录的 绝对地址 (不是相对地址)即可。例如，如果上述文件夹结构存放在 home/snowkylin 文件夹内，则 --model_base_path 应当设置为 home/snowkylin/saved_model_files (不附带模型版本号)。TensorFlow Serving 会自动选择版本号最大的模型进行载入。

4.11.3.1 安装Tensorflow Serving

安装过程详细参考官网

https://www.tensorflow.org/serving/setup

使用Docker安装进行，首先你的电脑当中已经安装过docker容器

Centos：参考：https://www.cnblogs.com/wdliu/p/10194332.html

TensorFlow Serving 可以使用 apt-get 或 Docker 安装。在生产环境中，推荐 使用 Docker 部署 TensorFlow Serving 。

4.11.3.2 TensorFlow Serving Docker 使用介绍

获取最新TF Serving docker镜像 docker pull tens