机器学习笔记：如何用MLflow管理模型生命周期

1

MLflow介绍

MLflow是一个解决机器学习生命周期管理的平台，在上面对模型进行跟踪、重现、管理和部署。

MLFlow解决了如下几个问题：

1、算法训练实验难于追踪，所以我们需要有一个实验管理工具Tracking。这个工具能够记录算法，算法参数，模型结果，效果等数据。

2、算法脚本难于重复运行，原因很多，比如代码版本，模型参数，还有运行环境。解决办法就是所有的算法项目应该都有一套标准的Projects概念,记录下来这些东西，并且这个Projects是可以拟合所有算法框架的。

3、部署模型是一个艰难的过程，ML界目前还没有一个标准的打包和部署模型的机制。解决的办法是Models概念，Models提供了工具和标准帮助你部署各种算法框架的模型。

MLflow提供了三个主要组件：

• MLflow 跟踪模块 ，用于记录实验数据的API和UI，其中的数据包括参数、代码版本、评价指标和使用过的输出文件。

• MLflow 项目模块 ，用于可重现性运行的一种代码封装格式，将代码封装在MLflow项目中，可以指定其中的依赖关系，并允许任何其他用户稍后再次运行它，并可靠地对结果进行重现。

• MLflow 模型模块 ，一种简单的模型封装格式，允许将模型部署到许多工具。例如，如果将模型封装为一个Python函数，MLflow模型就可以将其部署到Docker或Azure ML进行线上服务，部署到Apache Spark进行批量打分。

2

数据集介绍

这里使用的是Kaggle竞赛题中预测信用卡风险客户的数据集，数据链接：

https://www.kaggle.com/c/home-credit-default-risk/data。

其中有一张表中是HomeCredit_columns.csv，记录了每个栏位的含义。数据集任务是需要判断每单申请信贷资金的风险等级，