6 种方法部署 TensorFlow2 机器学习模型，简单 + 快速 + 跨平台！

当你创建或找到了一个完美的机器学习模型时，你一定想在各个平台上都使用到它！比如电脑、网页、移动端，甚至是 Docker 环境中。

不但个人如此，在实际工作中，一个优秀的程序员除了要学会构建机器学习模型，也更应该学会将其成功部署，向用户提供便捷的服务。

如下图所示，机器学习系统由机器学习代只包含一小部分，而在中间的小黑匣子周围，所需要的基础设施庞大而复杂。

大多数年轻的数据科学家都希望将大部分时间花在构建完美的机器学习模型上，但企业需要的不仅是一个模型，更需要将其部署，提供给用户使用。

实验楼上线了一门新课——《TensorFlow 2 模型部署方法实践》，教你用 6 种方法，将机器学习模型部署到各个生产环境中，包括前端、后端、移动端、Docker等，并使用最为热门的 TensorFlow 2 框架完成。

同时，建议还未接触过机器学习的朋友，可以先参考《JavaScript 基础课程》《TensorFlow 2.0 新特性快速入门》。

教程采用的实验环境均为实验楼提供的在线 web 环境，教程内容节选如下：

---

预训练模型使用方法

首先，我们聊聊预训练模型使用方法。

1. 介绍

本节实验将介绍 MobileNet 系列中的 MobileNetV2 模型，MobileNet 是为移动端和嵌入式端深度学习应用所设计的网络，使得在 CPU 上训练也能达到理想的速度要求。

后续的实验中，我们将使用此模型进行部署演示。

2. 知识点

• Keras 导入预训练模型

• 预训练模型的使用方法

• 保存模型为 HDF5 格式

• 保存模型为 SavedModel 格式

3. 环境配置

目前，TensorFlow 2 已正式发布，你需要通过 pip install -U tensorflow 进行升级安装。线上环境中，我们需要先卸载老版本，然后再安装 TensorFlow 2。

# 解决线上环境的一些依赖问题，本地无需这些操作
!pip install --upgrade pip msgpack setuptools h5py
!pip uninstall tensorflow -y

!pip install -U --ignore-installed wrapt # 安装 TensorFlow 2.0

4. 选择图片

在本实验中，我们使用 skimage 库中的自带图片进行图像识别。skimage 中自带一张猫的图片，稍后我们用这张图片进行识别任务。

from skimage import data
import matplotlib.pyplot as plt
%matplotlib inline

# skimage 中自带一张猫的图片
image = data.chelsea()
plt.imshow(image)

（注：如果你对课程所使用的实验楼 Notebook 在线环境不熟悉，可以先学习课程《实验楼 Notebook 在线环境使用指南》。）

5. 导入预训练模型

接下来从 Keras-applications 中导入预训练模型 MobileNetV2。由于原模型托管在海外服务器，在实验楼环境中，需要将预训练模型从实验楼镜像服务器下载到～/.keras/models 目录下，方便后续载入模型。

# 下载预训练模型到线上环境指定目录
!wget -nc "https://labfile.oss.aliyuncs.com/courses/1435/mobilenet_v2_weights_tf_dim_ordering_tf_kernels_1.0_224.h5" -P "/root/.keras/models"
!wget -nc "https://labfile.oss.aliyuncs.com/courses/1435/imagenet_class_index.json" -P "/root/.keras/models"

通过指定权重 weights='imagenet' 来载入 ImageNet 预训练模型。

from tensorflow.keras.applications.mobilenet_v2 import MobileNetV2

# 载入 ImageNet 预训练模型
model = MobileNetV2(weights='imagenet')
model.summary()

6. 数据处理

接下来，我们尝试对上面的示例图片进行识别，首先需要将图片处理成预训练模型可以输入的形状。我们将图像放缩到 224*224 的大小，并在图像矩阵前面增加一维，即将 (224,224,3) 的图像矩阵变成 (1,224,224,3)。

然后，可以调用 preprocess_input 方法将向量处理成 MobileNetV2 最终支持的输入类型。

!pip install opencv-python==4.1.2.30  # 安装所需 OpenCV

from tensorflow.keras.applications.mobilenet_v2 import preprocess_input
import numpy as np
import cv2

# 将图像放缩到 224*224 的大小
image = cv2.resize(image, (224, 224))
# 将图像矩阵前面增加一维，即将 (224,224,3) 的图像矩阵变成 (1,224,224,3)
x = np.expand_dims(image, 0)
# 预处理图像，在 Keras 中，在传入图片数组值 (0-255) 的基础之上，
# 进行先除以 127.5，然后减 1，最后将值的范围为放缩到 (-1,1) 上
x = preprocess_input(x)
x.shape

7. 模型预测

接下来，使用 model 中的 predict 对输入数据进行预测，模型输出为一个 (1,1000) 的向量，向量中每个元素表示对应标签的预测值。

output = model.predict(x)
output.shape

这里使用 decode_predictions 对模型输出的向量进行解码，解码的结果就是预测的结果，这里 top=5 表示输出前五个最有可能的类别。

from tensorflow.keras.applications.mobilenet_v2 import decode_predictions
preds = decode_predictions(output, top=5)
preds

通过输出结果可以看到，模型预测图片最可能的类别是 Egyptian cat。

8. 保存模型

我们可以在训练期间和训练完成后，对模型进行保存，而模型部署就是使用保存后的模型进行实际应用。在训练过程中， TensorFlow 2 提供了两种方式来保存模型。

1）HDF5 文件

在实验的一开始，我们下载下来的预训练模型 mobilenet_v2_weights_tf_dim_ordering_tf_kernels_1.0_224.h5 是 HDF5 格式的文件，可以将保存的模型视为单个二进制 blob，里面同时保存了模型权重、模型结构和优化器配置。

2）SavedModel

在 TensorFlow 2 中，还提供了 SavedModel 方式来保存模型，SavedModel 的优点是与语言无关，如可以在 Python 中训练模型，然后在 Java 中加载。另外使用 TensorFlow Serving 来部署模型时必须使用 SavedModel 格式，SavedModel 转换方法具体实现如下。

import tensorflow as tf
import time

saved_model_path = './saved_models/{}'.format(int(time.time()))
# 创建一个 SavedModel，并将其放在带有 tf.keras.experimental.export_saved_model 的带时间戳的目录中
tf.keras.models.save_model(model, saved_model_path)

在 saved_model_path 目录下，

.
├── assets
├── saved_model.pb
└── variables
    ├── variables.data-00000-of-00001
    └── variables.index

saved_model.pb 为数据流图文件，它包含图形结构， variables 文件夹中保存的是 ckpt 文件集合，variables.data-xxx 保存了参数的值，variables.index 保存了对应的各个参数。

9. 实验总结

在本节实验中，我们学习了 Keras-applications 预训练模型的使用方法，并将预训练模型从 h5 格式转换为 SavedModel 格式。在之后的实验，我们都将使用本实验中的模型、处理方法以及生成结果。下一节实验中，我们将使用 TensorFlow Serving 读取 SavedModel 进行部署。

---

后续的章节将介绍如何将模型部署到：前端、后端、移动端等平台，课程完整目录如下：

????????????点击阅读原文，一次掌握 6 种机器学习模型部署方法！