机器学习方法_【机器学习】机器学习模型应用方法综述

 Julien Kervizic 数据派THU 

作者：Julien Kervizic

翻译：陈之炎

校对：李海明

本文整理比较模型部署到生产中使用的不同部署模型方式、生命周期管理方法及数据存储格式。  

Mantas Hesthaven拍的发表在 Unspash上的照片 机器学习模型的应用方法多种多样，不一而足。  例如，在客户流失预测中，当客户呼叫服务时，系统中便可以查找到一个静态统计值，但对于特定事件来说，系统则可以获得一些额外值来重新运行模型。 通常，有很多方法可以对模型进行训练，并将其转化为应用产品：

• 训练：一次性训练、批量训练和实时训练/在线训练

• 应用：批训练、实时训练 (数据库触发器、Pub/Sub、Web服务、inApp)

每种方法都有各自的优劣，需要折中考虑。

一次性训练

模型在应用前，无需进行连续的多次训练。通常情况下，在数据科学家完成对模型的特定训练之后，便可进行应用，待模型性能无法满足使用要求时，再对其进行更新。  

• 从Jupyter到Prod

通常，数据科学家会在Jupyter Notebooks环境中组建原型和使用机器学习算法。Jupyter Notebooks是repl上的高级GUI，可以在这个环境中同时保存代码和命令行输出。 采用这种方法，完全可以将一个经过特别训练的模型从Jupyter中的某个代码推向量产。多种类型的库和其他笔记本环境有助于加强数据科学家工作台和最终产品之间的联系。

• 模型格式

Pickle 将python对象转换为比特流，并将其存储到磁盘以便后续重新加载。它提供了一种很好的格式来存储机器学习模型，亦可在python中构建其应用程序。 ONNX 为开放式神经网络交换格式，作为一种开放格式，它支持跨库、跨语言存储和移植预测模型。大多数深度学习库都支持该格式， sklearn还有一个扩展库来将模型转换为ONNX格式。 PMML 或预测模型标记语言，是另一种用于预测模型的交换格式。sklearn还有另一个扩展库，可用于将模型转换为PMML格式，这与ONNX是一致的。然而，它的缺点是只支持某些类型的预测模型，PMML从1997年开始出现，大量的应用程序均采用这种格式。例如：像SAP这样的应用程序能够利用PMML标准的某些版本，对于CRM应用程序(如PEGA)也是如此。 POJO 和 MOJO是两种 H2O.ai的导出格式，他们旨在为Java应用程序提供一个易于嵌入的模型。然而，这两种导出格式只在H2O平台上使用。

• 训练

对一次性训练模型，可以由数据科学家专门对模型进行训练和精调，或者也可以通过AutoML库进行训练。通过简单设置，便可将模型产品化推进到下一个阶段，例如批训练。

批训练

虽然不是所有的模型都需要应用，但批训练可以根据最新的训练结果使模型的版本得到连续刷新。 批训练受益于AutoML框架，其通过AutoML能够自动执行一系列动作。例如：特征处理、特征选择、模型选择和参数优化。AutoML新近的表现与最勤奋的数据科学家不相上下，甚至超过了他们。  

LinkedIn上的帖子 利用它们可以进行更为全面的模型训练，而不是做预训练：简单地重新训练模型的权重。 目前有多种不同的技术来支持连续的批训练，例如࿰