阿里巴巴大数据产品最新特性介绍--机器学习PAI

以下内容根据演讲视频以及PPT整理而成。

本次分享主要围绕以下五个方面：

• PAI产品简介
• 自定义算法上传
• 数加智能生态市场
• AutoML2.0自动调参
• AutoLearning自动学习

一、PAI产品简介与功能发展

1. PAI-Studio

在PAI的架构图中，最下层的是PAI的计算框架和数据资源。PAI可支持MaxCompute、OSS、HDFS和NAS等多种数据资源。在数据资源和多种计算框架基础之上，诞生出了PAI的最早形态：PAI-Studio——可视化建模实验平台，Studio中包括了两百多种算法，覆盖了数据预处理，特征工程，模型训练，评估预测等全链路的实验流程操作。用户可在PAI-Studio中以拖拽的方式构建实验，而无需复杂的操作。此外，PAI内置了鲲鹏计算框架，可支持百亿特征，百亿样本的超大规模矩阵训练。在最初建立过程中，PAI-Studio的定位目标为中级的算法工程师，即一个不需要很高的技术门槛就可以上手使用的算法平台。有了可视化建模Studio，PAI就可以拥有为用户提供业务支持，如构建推荐系统、金融风控、疾病预测或新闻分类等的能力。

2. PAI-EAS

然而，从Studio中算法和实验的构建，到真正成为用户可用的模型服务，其中间还存在一个gap，即如何将模型部署为在线服务。用户一般需要耗费较大的精力在此之上。为了解决这个问题，PAI平台随后推出了PAI-EAS模型在线服务功能，为用户提供EAS在线服务的一键部署功能，大大简化操作，连接模型构建与生产服务。除了一键部署，PAI-EAS模型在线服务功能还支持版本控制、蓝绿部署和弹性扩缩容等特性功能。通过PAI-EAS模型在线服务，用户可以方便的进行构建实验，并将模型进行在线部署，最后应用到实际业务当中。

3. PAI-DSW

在PAI之后的发展过程中，出现了新的需求，即有的工程师希望在整个实验构建过程中有更大的自主发挥空间。为此，PAI推出了PAI-DSW版块，其特点是使用notebook进行建模，PAI-DSW内置了Jupyter的开发环境，继承了深度优化的TensorFlow，并且可以可视化编辑神经网络。由需求的初衷不难发现，PAI-Studio和PAI-DSW最大不同点就在于它为拥有更多算法背景技术的工程师提供更大的发挥空间，因此适合于高级的算法工程师。

4. PAI-AutoLearning

在解决了高级、中级算法工程师的需求之后， PAI又进一步推出了专门为初级算法工程师量身设计的全新PAI-AutoLearning功能（详细功能特性会在下文介绍）。继而，拥有不同的算法能力的工程师都可以通过PAI找到适合自己使用的产品类别。

5. 智能生态市场