使用 FTI 架构正确构建 ML 系统

特征/训练/推理 (FTI) 管道架构

本文介绍了特征/训练/推理 (FTI) 架构，以使用 MLOps 最佳实践构建可扩展且模块化的 ML 系统。Hopsworks 首席执行官 Jim Dowling 提出了该设计 [1]。

我们将首先讨论构建机器学习系统时遇到的问题。然后，我们将研究其他潜在的解决方案及其问题。

最后，我们将介绍特征/训练/推理 (FTI) 设计模式及其优势。我们还将了解在构建 ML 系统时使用特征存储和模型注册表的优势。

构建机器学习系统的问题

构建可用于生产的 ML 系统不仅仅是训练模型。从工程角度来看，训练模型是大多数用例中最简单的步骤。

然而，在确定正确的架构和超参数时，训练模型会变得复杂。这不是一个工程问题，而是一个研究问题。

此时，我们要重点关注如何设计一个可用于生产的架构。训练一个高精度的模型非常有价值，但仅仅通过在静态数据集上进行训练，还远远不能稳健地部署它。我们必须考虑如何：

• 采集、清理并验证新数据
• 训练与推理设置
• 在正确的环境中计算并提供功能
• 以经济高效的方式为模型提供服务
• 版本、跟踪和共享数据集和模型
• 监控您的基础设施和模型
• 在可扩展的基础架构上部署模型
• 自动化部署和培训

这些是 ML 或 MLOps 工程师必须考虑的问题类型，而研究或数据科学团队通常负责训练模型。

图 1：机器学习系统的组件。图片来自