机器学习管理平台 MLFlow

最新推荐文章于 2023-07-16 23:09:11 发布

weixin_34214500

最新推荐文章于 2023-07-16 23:09:11 发布

阅读量476

点赞数

文章标签：人工智能前端大数据 ViewUI

原文链接：https://my.oschina.net/taogang/blog/1860421

版权

2019独角兽企业重金招聘Python工程师标准>>>

最近工作很忙，博客一直都没有更新。抽时间给大家介绍一下Databrick开源的机器学习管理平台-MLFlow。

谈起Databrick，相信即使是不熟悉机器学习和大数据的工程湿们也都有所了解，它由Spark的创始人开办的，主要为用户提供在云端使用Spark来进行机器学习的能力。那么这次Databrick开源的MLFlow究竟能提供什么样的功能呢？

首先我们来看一看当前机器学习所遇到的挑战：

使用的软件工具繁多，一个机器学习的项目基本上数据收集和准备，模型训练，模型部署的不断迭代过程，这个过程中的每一步都有很多不同的工具和选择。单就模型训练来说，我们就有scikit-learn，pytorch，spark，tensorflow，R 等等诸多选择。它们各自具有不同的优缺点和适用场合，对于数据科学家而言，要管理和适用这么多的工具，确实非常困难。
很难跟踪和重现数据处理，代码运行，参数调试的过程和结果。
很难对模型进行产品化，部署模型很困难。
当数据规模增长的时候，很难扩展和伸缩。

MLFlow的目标是希望能够解决这些问题，希望支持任何的机器学习库，可以在本机或者云端运行，并解决可伸缩性的问题

MLFlow采用了开源的策略，基于API和模块化的设计。他主要有以下三个功能模块：

Tracking 跟踪和记录
Project 项目管理
Models 模型管理

我们分别来看看这三块：

Tracking

MLFlow的追踪功能类似APM，记录应用运行过程中所产生的各种数据。主要记录参数（Parameters），指标（Metrics），模型的持久化对象（Artifact）等内容。这一部分实际上功能的实现很简单。大家可以参考它的代码，

例如，对于参数的记录代码：

def log_param(self, key, value):
    # TODO: prevent keys from containing funky values like ".."
    fn = os.path.join(self.run_dir, "parameters", key)
    dir_util.mkpath(os.path.dirname(fn))
    with open(fn, "w") as f:
        f.write("%s\n" % value)

我想说，要解决追踪的问题，业内已经有很多成熟的工具，各种APM产品，甚至Splunk，ELK都是不错的选择。