阿里数据中台底座的12年建设实践

阿里云云栖号

于 2021-07-27 13:48:39 发布

阅读量1.1k

点赞数

分类专栏：云栖号技术分享文章标签：数据安全阿里云

本文链接：https://blog.csdn.net/yunqiinsight/article/details/119142054

版权

简介： 在当下如火如荼的金融行业中台建设浪潮中，不少金融机构对于中台建设仍存诸多迷思，中台建设将走向何方？数据资产到底该如何管理？阿里巴巴的中台建设之路应该能为金融机构带来借鉴。日前，在阿里云举办的2021阿里云金融数据智能峰会上，阿里云智能计算平台事业部研究员关涛对阿里巴巴如何构建数据中台核心三要素中的平台技术部分进行了全盘分享，其中包括数据平台发展的四个典型阶段，支持中台业务的四大技术挑战，以及数据平台的四大技术趋势等。

文/阿里云智能计算平台事业部研究员关涛

阿里巴巴数据平台发展的四大阶段

构建数据中台，一个强大的数据平台作为底座必不可少。阿里巴巴数据平台发展的四个阶段，一定程度上其实也是阿里巴巴数据中台发展的四个阶段。这四个阶段里，你可以看到阿里巴巴对自身数据的商业价值的萃取，对原有分而治之的数据系统的聚合，对计算数据资产化和数据高效应用的新思路以及对数据平台治理过程中面临的组织变革等。

阶段一：业务百花齐放，发现数据价值

2009年到2012年，阿里巴巴电商业务进入爆发期，涌现出非常多有名的业务团队，比如淘宝、1688、AliExpresss、一淘等。每个业务都是基于数据驱动的全场景业务，业务方对数据有着强烈的诉求。那个时候，阿里巴巴技术几乎都是IOE架构，核心数据系统是Oracle。2年时间内，阿里巴巴建成了全亚洲最大的Oracle集群。但是在2010年，Oracle已经不能满足计算的要求，有非常多数据延迟和不满足性，再加上昂贵的成本，没办法继续支撑业务发展。阿里巴巴开始认真审视建设下一代数据平台的重要性，同时启动了两个并行项目：一个是“云梯1”，基于开源Hadoop技术体系，多个业务团队构建多个Hadoop集群，集群规模达到4000台服务器。一个是“云梯2”（ODPS，现MaxCompute），作为阿里巴巴自研产品启动研发，集群规模1200台左右。蚂蚁小微贷款“牧羊犬”业务是第一个吃螃蟹的业务，上线“云梯2”的过程被称为“人肉云计算”与“分步试计算”。王坚院士2018年曾在央视《朗读者》节目朗读《进入空气稀薄地带》，形容的就是自研数据平台那时的现状与信念。两个项目在阿里巴巴内部形成竞合状态，并行探索阿里巴巴数据平台发展的轨迹。这个时期，所有业务方的数据几乎都是垂直建设，以自己业务形态形成独立小闭环的形式飞快向前奔跑。