阿里飞天大数据&飞天AI平台“双生”系统正式发布，9大全新数据产品集中亮相

 

作者 | 夕颜

责编 | 唐小引

出品 | AI科技大本营（ID:rgznai100）

 

如今，大数据和 AI 已经成为两个分不开的词汇，没有大数据，AI 就失去了根基；没有 AI，数据不会呈现爆发式的增长。如何将 AI 与大数据有机结合，成为很多企业的目标和方向。

 

阿里巴巴也在进行着这样的尝试。幸运的是，现在，他们已经实现了这个目标。

9 月 26 日，在杭州云栖小镇举行的云栖大会大数据&AI 峰会上，阿里云智能计算平台事业部资深产品专家李京梅正式发布向公众发布了飞天大数据平台和飞天 AI 平台。

 

飞天大数据与飞天AI平台“双生”系统

 

李京梅把这两者比喻为一对孪生兄弟，同出同进，相互使能，形成密不可分的有机结合关系。在大数据与AI形成的双生系统中，大数据平台为 AI 提供数据和算力，AI 反过来优化大数据系统，让大数据可以“自动驾驶”，做到智能优化，AI 加持的大数据计算能力大大提升。

 

 

作为飞天 AI 平台的核心，机器学习平台 PAI 在这张图中处于中间的位置。李京梅说道，人工智能发展有三要素，包括数据、算法和算力，同样的算法，放到十年前，由于没有大数据上的天时地利，这些算法可能不会产生和今天同等的价值。所以，大数据平台和AI 平台之间互相使能在于大数据为机器学习的平台创造了海量的数据，让 AI 产生更多能力，而当 AI 落地后，行业系统和业务系统又产生更多、更丰富的数据，产生一个数据生产的闭环，大数据和 AI 并行，会创造更多的价值。 

 

她介绍道，阿里巴巴飞天大数据平台具备数据综合治理、数据构建、数据交换等能力，赋能机器学习 PAI 平台，完成统一的调度和编排。它还可以对接各种大数据计算引擎，进行统计交互式分析和云计算技术业务。

 

在此之前，阿里云智能计算平台事业部研究员关涛和阿里云智能计算平台事业部资深技术专家徐晟还介绍了飞天大数据平台和飞天AI平台的发展历程，并揭秘了一部分飞天大数据平台技术。

 

关涛表示，从 2009 年开始研发开始，飞天大数据平台经历了两个阶段的发展。

• 第一阶段：2009 年-2015 年，这一时期，团队更多关注的是平台的稳定性、易用性和可用性，到 2009 年发布“登月”项目，阿里的所有数据都集中到这一平台，阿里的中台也建设起来；

• 第二阶段：2015 年之后，随着大数据爆炸时代的到来和深度学习的发展，数据处理能力成为制约 AI 发展的瓶颈，数百 PB 级的数据处理问题、激增的数据处理复杂度成为摆在 CIO/CTO 面前的现实问题。

 

面对体量问题，阿里通过高效的算子层与存储层的优化，寻找“最优”的执行计划（算子组合），动态查询计划，灵活的算子组合，动态调整与自学习调优，从引擎优化带自学习调优，基于历史信息恶自学习回归优化，全面自适应优化几个方面持续升级了自己的计算力，并使得性能提升前提下存储成本降低 30%，计算新规格上线后成本降低 70%。

 

 

徐晟表示，大数据平台升级为飞天大数据平台，很大部分来自于广大企业用户在业务快速发展时期产生的数据治理需求，众所周知，数据是企业的生产力，创新的企业在快速发展过程中，会选择更加灵活、适配自身业务的数据存储与计算，当企业的业务已经铺遍全国，一定会存在存储跟着数据走、数据跟着业务走的局面（即数据分布在各个区域的数据平台上），传统的大数据解决方案，是帮助企业汇聚统一的大数据平台，所有数据存储在一起，计算在一起，而飞天大数据平台可以让客户实现跨存储数据计算、跨地区数据分析、跨云数据使用，让客户的数据技术紧跟业务的发展，让客户实现个性化搭建大数据平台。

 

 

多个大数据新品发布

 

紧接着，李京梅进行了几项全新产品发布，以下为新品盘点和亮点提炼：

• DataWorks V3.0 

   

 

DataWorks V3.0 的定位是一个云原生企业级智能大数据平台，为用户提供技术工具和平台，新特性包括全面支持开源大数据生态，实现管理、任务调度和质量监控等；混合调度能力升级，实现跨引擎、跨区域、跨云调度；多引擎开发平台，可对接多个引擎，并支持自定义引擎；AI 算法能力，结合 AI 和大数据能力；全新升级的数据综合治理能力。

 

• 机器学习平台 PAI

 

 

PAI 是飞天 AI 平台下最核心的产品。它的核心功能是让训练更容易，不懂算法背景也可以通过拖拉拽动作对图片进行分类；在 AI 市场中，让算法模型交易更容易；支持算法自定义上传，与开源生态对接更容易。

 

• MaxCompute V3.0 大数据智能云数仓

 

 

今天，我们进行入了一个智能化数仓时代，MaxCompute 也经历了十年左右的发展，它一方面使得数据量和成本的线性关系得到优化，并为用户带来两点好处，一是可以直接享受计算存储，成本降低 70%，第二是降低上云的成本，缩减上游周期。

 

• E-MapREduce V4.0

 

 

E-MapReduce 是阿里的云原生开源大数据平台，V4.0 为轻量级敏捷版，小微服务缩减到 9 台服务器，适配 ECS，可为企业节省成本。

 

• 实时计算云原生版本

 

 

实时计算云原生版本由 Ververica 提供支持，支持开源 Flink 1.6 至 1.9 版本，具有开箱即用的特点，提供多个可插拔增值服务，且产品基础版本可免费使用。

 

• 新一代实时交互时分析

 

 

可实现 MaxCompute 加速，快速构建实时仓库、联邦查询功能。

 

• Elasticsearch V2.0

 

• 图计算引擎+开发套件

 

 

性能领先业界 1-3 个数量级，索引构建可实现秒级弹性扩缩容，支持 50 多种场景，最高支持百亿节点、1000亿边、30 TB规模的图计算，建模与查询简单直观，并包含一套针对图计算的开发套件。

 

• 开放搜索 OpenSearch V2.0

 

适用用户精准画像，提升搜索带来的业务价值，包括查询语义理解，机器学习排序算法、专业搜索效果迭代工具。

 

把飞天大数据平台和飞天 AI 平台“打包”，放在一起在阿里最重要的会议之一上一起亮相，阿里自有深意。随着 9 大全新数据产品的发布，阿里对自身的数据能力做了一次集中展示。这波操作你觉得稳不稳？欢迎留言讨论。AI 科技大本营将继续在云栖大会前线带来最新报道，敬请关注~

（*本文为 AI科技大本营原创文章，转载请微信联系作者 1092722531）

---