TensorFlow Serving 简要了解_v1

简介

TensorFlow Serving 是一个灵活高效的机器学习服务系统，适用于部署机器学习模型，灵活、性能高、可用于生产环境。Serving 即当对机器学习模型进行训练之后，对模型进行应用。

TF Serving 可抽象为一些组件构成，每个组件实现了不同的 API 任务，其中最重要的是 Servable, Loader, Source, 和 Manager，组件之间的交互如下图。

上图对应的流程大致如下：

假设当前系统中有模型 M1 正在运行，而我们又训练好了模型 M2，右下方的 Source API 通过文件系统插件（橙黄色模块，用于检测文件系统，观察模型的新版本）得知 M2 的存在，Source 会发出(emit) M2 加载程序（loader），加载程序并不会直接加载模型 M2，它会记录元数据，估算 RAM 需求及模型所需要的其他资源。然后 loader 被发送给管理者（Manager），管理者估算服务器的状态，有多少可用 RAM 及其他资源（GPU,TPU)，然后在有足够资源且安全的情况下才会加载 M2。但之后不会立即卸载模型 M1，只有当所有对 M1 的请求结束之后，才会卸载 M1。

特点

TensorFlow Serving可以轻松部署新算法和实验，同时保持相同的服务器架构和API，它具有以下特性：

• 支持模型版本控制和回滚
• 支持并发，实现高吞吐量