机器学习平台一期概要设计

背景介绍

随着大数据技术的日趋成熟，很多互联网企业都积累了海量的数据资产。如何利用这些数据，充分发掘其价值逐渐成为各个公司亟待解决的新难题。其中机器学习已经被业界证明是十分有用的数据分析与挖掘手段。学术界对机器学习方向的研究已经持续数十年，很多算法已比较成熟。虽然不停有新的改进，但对企业而言不是最重要的。企业级应用最大的障碍在于如何将其平台化和围绕平台化所做的相关工作。因为如果每个使用机器学习的业务都走一整套完整的机器学习流程的话，开发和维护成本是相当高昂的。平台化就是将机器学习系统做成更加通用的、简单易用的平台，相关业务可以很容易接入该平台，从而利用机器学习的手段解决业务问题。

总体架构

公司本身大数据体系以Hadoop+Spark为主，不同业务方具有自己独立的账号和资源配额。目前绝大部分业务数据和日志数据均汇集到Hive数据仓库中。大数据平台已支持使用批量+实时的大数据处理方案满足相关数据处理需求。结合公司现状，机器学习平台应充分利用现有的任务调度方式、资源隔离体系、权限体系等，并尽量整合现有业界机器学习框架和资源，满足通用性机器学习任务的同时，做到一定的可扩展性和灵活性。其主要体现在容易整合相关机器学习框架；容易扩展用户自定义的算法实现；容易对多种硬件资源调度；容易在多种执行引擎间切换。

设计要点

❶ 前端交互

公司大数据平台统一前端入口为http://data.tmall.com。为了复用该工程相关功能，机器学习平台的前端交互/管理部分也会整合进来。具体入口放置在业务组功能菜单下面，下层子菜单包括[我的实验]、[数据管理]、[模型管理]。点击[我的实验]菜单后，在打开的页面中会列出归属于该业务组的实验列表，同时可以点击新建或者进入某个已有实验，这时将跳转到新打开的全新机器学习DAG编辑页面（DeepBlue AI Studio）。该页面的layout会和data.tmall.com的区分开，便于对该Editor页面样式等进行灵活控制。