无需编码的深度学习平台 automated machine learning (AutoML)

最新推荐文章于 2024-08-21 01:12:26 发布

liang890319

最新推荐文章于 2024-08-21 01:12:26 发布

阅读量1.6k

点赞数 1

分类专栏：深度学习

本文链接：https://blog.csdn.net/liang890319/article/details/108644914

版权

深度学习专栏收录该内容

13 篇文章 0 订阅

订阅专栏

阿里云PAI

https://www.aliyun.com/product/bigdata/product/learn?spm=5176.12825654.eofdhaal5.174.e9392c4aaIUsfi

PAI起初是服务于阿里巴巴集团内部（例如淘宝、支付宝和高德）的机器学习平台，致力于让公司内部开发者更高效、简洁、标准地使用人工智能AI（Artificial Intelligence）技术。随着PAI的不断发展，2018年PAI平台正式商业化，目前已经积累了数万的企业客户和个人开发者，是国内领先的云端机器学习平台之一。

PAI底层支持多种计算框架：

流式计算框架Flink。
基于开源版本深度优化的深度学习框架TensorFlow。
千亿特征样本的大规模并行计算框架Parameter Server。
Spark、PySpark、MapReduce等业内主流开源框架。

PAI提供的服务：

可视化建模和分布式训练PAI-Studio。
Notebook交互式AI研发PAI-DSW（Data Science Workshop）。
自动化建模PAI-AutoLearning。
在线预测PAI-EAS（Elastic Algorithm Service）。

PAI的优势：

服务支持单独或组合使用。支持一站式机器学习，您只要准备好训练数据（存放到OSS或MaxCompute中），所有建模工作（包括数据上传、数据预处理、特征工程、模型训练、模型评估和模型发布至离线或在线环境）都可以通过PAI实现。
对接DataWorks，支持SQL、UDF、UDAF、MR等多种数据处理方式，灵活性高。
生成训练模型的实验流程支持DataWorks周期性调度，且调度任务区分生产环境和开发环境，进而实现数据安全隔离。

腾讯I-ONE

机器学习建模时算法工程师有两种选择：

一种是自建，使用框架建模，如Caffee、PyTorch、TensorFlow等。

另一种是直接使用机器学习平台，比如智能钛TI-ONE。

我们可以看下这两者的区别：

框架角度

对于自建，每种框架都需要安装、部署在机器上，并进行相应的维护。同时每种框架都有不同的版本，兼顾维护各个框架版本的依赖环境就是一笔时间开销。

对于智能钛TI-ONE，我们已经将框架集成到平台，并且调试好了，提供的是平台级的算法建模服务，“开箱即用”。

算法角度

对于自建框架的用户来说，需要不断从开源社区去找一些算法拿来使用，也会涉及到对算法bug的一些修改工作。

对于智能钛TI-ONE，我们已经将用得比较多的算法调试好，部署在平台上，用户可以直接托拉拽、notebook或通过SDK的方式使用。一些些工程性的建模支持服务，平台已经为算法工程师准备好，工程师可将注意力完全集中在模型搭建上。

TI-ONE产品架构

资源层

数据存储上，支持多种存储方式，如分布式文件系统HDFS、CEPH，对象存储COS、文件存储CFS。计算资源上，具备大量云上计算资源，同时支持本地算力。

调度层

云上建模有大量用户，有大量计算集群，不同的训练任务需要有分布式调度工具。分布式资源调度套件，采用的是腾讯自研的资源调度平台，能够支持大型的云集任务。

框架层

支持Spark、TensorFlow、Angel、PyCaffee、Pyspark、Pytorch等主流机器学习框架。

算法层

支持上百种机器学习算法，包括传统机器学习算法、图算法、深度学习算法，且在不断丰富中。

交互层

三种不同的交互方式，满足不同的用户群体。

可视化建模

托拉拽方式搭建工作流，简单易上手，适合AI小白。

Notebook

交互式的数据探索和建模过程，适合有一定算法基础的人群，提供更大的灵活性。

SDK

更适合建模专家使用，提供更大的粘合度。

百度BML

https://cloud.baidu.com/doc/BML/index.html

BML包括三个核心模块：

模型训练：提供两种模型训练方式，您可以根据需要选择合适的模型开发方式。
- Notebook：内置了完全托管的交互式编程环境Jupyter Lab，实现数据处理和代码调试。
- 作业建模：支持多种深度/机器学习框架，一键发起大规模训练作业，最大化提升训练效率及效果。包括四种类型的作业：深度学习作业、机器学习作业、AutoDL作业、AutoML作业。
模型仓库：将训练好的模型按照不同模型类别、性质、分类、版本有序进行存储和管理。
预测服务：快速将训练好的模型部署为高可用的在线服务，灵活选用多种计算部件加速预测执行，并可以通过A/B Test、灰度升级、服务监控等完成模型试验迭代和服务运维管理。

机器学习是连续的周期过程，模型开发 - 模型管理 - 发布预测服务进行生产部署，然后，您可以结合更多业务数据，根据实际使用情况，重新训练模型来提高预测准确性。

BML提供了内置TensorFlow、Keras、PyTorch、Caffe、Mxnet、Chainer、CNTK和PaddlePaddle等算法框架的交互式代码编辑及运行环境Jupyter Lab。