使用 Databricks+Mlflow 进行机器学习模型的训练和部署

ML工作流的痛点

机器学习工作流中存在诸多痛点：

• 首先，很难对机器学习的实验进行追踪。机器学习算法中有大量可配置参数，在做机器学习实验时，很难追踪到哪些参数、哪个版本的代码以及哪个版本的数据会产生特定的结果。
• 其次，机器学习实验的结果难以复现。没有标准的方式来打包环境，即使是相同的代码、相同的参数以及相同的数据，也很难复现实验结果。因为实验结果还取决于采用的代码库。
• 最后，没有标准的方式管理模型的生命周期。算法团队通常会创建大量模型，而这些模型需要中央平台进行管理，特别是模型的版本所处阶段和注释等元数据信息，以及版本的模型是由哪些代码、哪些数据、哪些参数产生，模型的性能指标如何。也没有统一的方式来部署这些模型。

MIflow 就是为了解决机器学习工作流中的上述痛点问题而生。它可以通过简单的 API 实现实验参数追踪、环境打包、模型管理以及模型部署整个流程。

MIflow的第一个核心功能： MIflow Tracking。

它可以追踪基于学习的实验参数、模型的性能指标以及模型的各种文件。在做机器学习时实验时，通常需要记录一些参数配置以及模型的性能指标，而 MIflow 可以帮助用户免去手动记录的操作。它不仅能记录参数，还能记录任意文件，包括模型、图片、源码等。