《大数据大创新：阿里巴巴云上数据中台之道》：解密阿里数据中台建设

在架构图中，看到最下面的内容主要是数据采集和接入，按照业态接入数据（比如淘宝、天猫、盒马等），把这些数据抽取到计算平台；通过OneData体系，以“业务板块+分析维度”为架构去构建“公共数据中心”。

基于公共数据中心在上层根据业务需求进行建设：消费者数据体系、企业数据体系、内容数据体系等。

经过深度加工后，数据就可以发挥其价值被产品、业务所用；最后通过统一的数据服务中间件“OneService”提供统一数据服务。

四、阿里云上数据中台的建设过程

4.1 烟囱式开发造成业务困扰和技术浪费

阿里的数据中台治理主要是在2014年开始的，在2014年以前，阿里的大数据建设处于烟囱式开发状态，这样的开发带来了许多业务的困扰和资源的浪费。如图，是2014年以前的阿里巴巴分业务自建数据体系的抽象图。

不难看出，阿里的每一块业务都有对应的ETL开发团队为其提供数据支持，而每个ETL开发团队都会按照自己的思路建设自己的数据体系，可见：

• 数据流向会乱，无方向性的
• 数据管理式无序的，处于失控状态
• 除了浪费研发人力和计算存储资源、也必然满足不了业务的需求

当然，这个问题被放大式在本身业务以极快的速度发展的前提下，这样的开发导致的问题我们从两个方面来看。

业务困扰

在混乱的开发中，会造成诸多的数据问题，如因为指标的定义问题，导致同一指标有多个数据，最常见的指标为UV,总结最业务的困扰主要一下三点：

• 数据统一：数据标准规范难（命名不规范、口径不统一、算法不一致），数据任务响应慢，从而导致业务部门产生困扰而导致不满。
• 数据未打通：各个数据团队各自为政，存在严重的数据孤岛现状；缺乏数据融通，数据价值发掘不够，从而导致业务部门看不清数据。
• 成为成本中心且服务化不足：数据无方向性，依赖混乱，，数据管理无序，失控，成本化严重，面向应用的服务化投入不足甚至缺失。

技术困扰

浪费主要分两方面看，一方面是开发人力技术的浪费，开发人员日常在数据异常排查和数据调研上疲于奔命。另外一个是计算存储资源的浪费，在没有公共层的情况下，数据重复存储和计算非常常见。简单的总结为一下的三点：

• 研发苦恼：烟囱式开发周期长、效率低。
• 维护困难：源系统乎或业务变成不能及时反应到数据上，加之数据不标准，不规范，上线难，下线更难。
• 时效性差：重复建设导致任务链路冗长、任务繁多，计算资源紧张；数据批量计算慢，时效性不强且覆盖 业务范围窄，即时查询返回结果慢。

4.2 数据公共层力求让业务和技术都满意

从上面的问题来看，数据的公共层建设是一件迫在眉睫的事情，那么数据公共层建设到底该如何进行，建设之前又要如何准备。这里就是OneData体系建设数据建设篇，OneData体系的主要四个组成部分为：

• 规范化数据建模：规范化数据建模，特别关注数据规范定义、数据模型设计和ETL开发等全流程
• 规范化研发工具：用来落地和承载规范化建模的工具
• 数据模型数据小库：规范化数据建模产生的所有分层数据模型的数据被统一存放在数据小库中
• 面向应用的数据监控：所有的数据在面向应用是都会被监控和调用，且对上线、下线调优监控则会反馈到规范化数据建模中。

四个部分的运行图如下：

这些规范肯定是会与时俱进地被调优，但大部分的内容至今仍具有重要的指导意义，特别式其中的数据规范定义和数据模型设计，它们也因此被保留在从2016年开始再次升级的OneData体系中。

具体的OneData体系的方法论，包含三个关键点分别是数据仓库规划、数据规范定义、数据模型设计，这里我们不介绍技术细节，我在《大数据之路：阿里巴巴大数据实践》：看阿里人从IT时代走向DT时代的经验之谈！里都有讲述，大家可以自行学习。

4.3 阿里云上数据中台三大体系

经过多年实战，沉淀出了阿里云上数据中台内核能力框架体系：产品+技术+方法论。

历经阿里生态内各种实战历练后，云上数据中台从业务视角而非纯技术视角出发，智能化构建数据、管理数据资产，并提供数椐调用、数据监控、数据分析与数据展现等多种服务。

承技术启业务，是建设智能数据和催生数据智能的引擎。在OneData、OneEntity、OneService三大体系，特别是其方法论的指导下，云上数据中台本身的内核能力在不断积累和沉淀。在阿里巴巴，几乎所有人都知道云上数据中台的三大体系，如上图所示。

(OneEntity，现在应该是OneID，讲数据从多终端、全渠道被采集到，并，与“人”相关的数据ID就有：业务账号信息、PC cookie、无线imei与idfa等设备标志、身份属性信息)，这些信息加剧数据孤岛的形成，我们通过OneID进行打通。这里涉及OneID的设计，二维关系的构建和倒排表等，我会在后面阿里数据中台的文章中再详细讲述。

以下便是通过OneID构建的人物画像：

OneData致力干统一数据标准，让数据成为资产而非成本；OneEntity（OneID）致力于统一实体，让数据融通而以非孤岛存在；OneService致力于统一数据服务，让数据复用而非复制。

这三大体系不仅有方法论，还有深刻的技术沉淀和不断优化的产品沉淀，从而形成了阿里巴巴云上数据中台内核能力框架体系。

4.4 阿里数据中台及赋能业务模式支撑

阿里数据中台，经历了所有阿里生态内业务的考验，包括新零售、金融、物流、营销、旅游、健康、大文娱、社交等领域。

数据中台除了建立起自已的内核能力之外，向上赋能业务前台，向下与统一计算后台连接，融为一体。

4.5 数据中台技术的数字表现

今天，阿里处理的数据量已达EB级，相当于10亿部高清电影的存储量。在 2016年双十一当天，实时计算处理的数据量达到9400万条/秒。而从用户产生数据源头采集、整合并构速数据、提供数据服务，到前台展现完成仅需2.5秒。

"友盟+”是阿里把收购的几家数据公司整合升级后，组成的一家数据公司。这里仅以2017年“友盟+”对外公开的部分指标为例，其中的数据覆盖14亿部活跃设备、685 万家网站、135万个应用程序，日均处理约280亿条数据，这一切都建立在阿里强大的数据处理技术底座之上。

4.6 数据中台六大数据技术领域

阿里建设数据公共层之初，规划了六大数据技术领域，即数据模型领域、存储治理领域、数据质量领域、安全权限领域、平台运维领域、研发工程领域。

而在阿里数据公共层建设项目第二阶段完成存储治理领域，已经被扩大到资源治理领域，进而升级到数据资产管理领域，安全权限领域，升级到数据信任领域，因为很多工作已经在产品中实现，平台运维领域不再作为一个数据技术领域被推进，数据模型领域与数据质量领域还在持续推进中，不过增加了许多新的内涵，智能黑盒领域则是新起之秀。

由此可见，数据技术领域不是一成不变的，而是随着业务的发展和技术的突破不断扩大、 升华的。

4.7 数据中台建设方法论

4.7.1 数据中台建设方法论体系的全局

(1) 全流程一体化：即从数据采集到数据服务实现全链路通。在产品层面，不会让用户在不同使用阶段来回切换于不同产品。

例如，用户要做实体识别、用户标签画像等，如果要依赖的数据在另外一个产品中, 甚至需要使用风格迥异的产品来完成，则用户会不知所措。所以，以数据建设为例，要实现数据从采集到标准化、实体识別、标签画像及最终面向应用的一站式服务。

(2) 向上多样化赋能场景：不仅要有通用产品，还要有行业产品及尊享产品。应向不同的应用场虽和用户，提供差异化服务。

例如，阿里数据中台向阿里生态内小二提供数据产品时，就包括数据工具、专题分析、 应用分析、数据决策这四个层次的产品和服务。

(3) 向下屏蔽多计算引擎：不管是哪里的云计算服务，都应该尽可能兼容甚至屏蔽的，让用户在应用时感觉简单。

在阿里10年大数据建设历程中，数据建设的底座依赖至少经历了Oracle— GP-Hadoop—阿里云计算平台的变化过程。很多大数据应用与创新者也一定会面临类似的变化。

所以，对于产品和服务，需要连同生态合作伙伴一起努力实现屏蔽多种计算引擎，不管底座是阿里云公共云，还是阿里云专有云，还是自建的私有云，都可以在此之上构建数据并实现平滑切换。

(4) 双向联动：在构建大数据及服务业务应用与创新的过程中，业务和技术是需要协同互动的，而不是一方是另一方的资源这种单向关系。

一般来说，对于业务需要技术的协同这一点，人们很容易理解，但对于技术同样也需要业务的协同这一点，人们可能就不太容易理解。例如，要对消费者进行识别、刻画、触达和服务，则需要业务部门在业务前台按照数裾技术规范和标准进行布点，以便采集到数据，以及需要业务人员与技术人员一起讨论刻画消费者标签的关键因素，并确定哪些标签符合业务线的价值诉求。

4.7.2 OneData体系方法论

OneData体系方法论至少包括：数据标准化、技术内核工具化、元数据驱动智能化3个方面。

(1) 数据标准化。要从源头实施数裾标准化，而非在数据研发之后，基于数据指标梳理的数据字典实施数据标准化。因为，只有每一个数据都是唯一的，数据模型才能稳定、可靠，数据服务才是靠谱、可信的。

(2) 技术内核产品化。所有的规范、标准等，如果没有一个全流程的工具作为保障, 则无法实现真正意义上的全链路通，因此，我们首先推进技术内核全面工具化。

(3) 元数据驱动智能化。前文提到，阿里正在持续努力实现数据建模后的自动化代码生成，以及保障其实现和运行的智能计算与存储框架。为什么阿里能做这件事情？其中一个重要原因就是，在源头对每个元数据进行了规范定义，尽可能实现数据的原子化和结构化，并将其全部存在元数据中心里。这些元数据对于计算、调度、存储等意义非凡，因此有望实现从人工到半自动化，进而实现智能化。

4.7.3 OneEntity体系方法论

OneEntity体系方法论至少包括：技术驱动数据连接、技术内核工具化、业务驱动技术价值化3个方面。

(1) 技术驱动数据连接。OneEntity要实现实体识别，首先依赖很强的实体识别技术，所以要用技术来驱动数据连接。

(2) 技术内核产品化。产品化是目标，其发展过程不是一蹴而就的。一定要往这个方向努力，否则每一次进行标签画像（哪怕是类似的标签），都要通过人力重复做一次，这实在是一件让人非常痛苦的事情。所以，要高效地进行实体识別、用户画像，工具化是一条必由之路。当然，全部工具化总是很难实现的，一定还有工具无法替代人脑的部分，所以，努力追求的是将人脑智慧尽可能沉淀在工具型产品中。

(3) 业务驱动技术价值化。正如前文所述，将数据从孤岛变得融通，进而实现高价值，是需要业务来驱动的。在此过程中，再一次体现了业务和技术要“背靠背”“你情我愿”地进行双向联动的。

4.7.4 OneService体系方法论

OneService体系方法论至少包括：主题式数据服务、统一但多样化的数据服务、跨源数据服务3个方面。

(1)主题式数据服务。举一个例子，假设用户想要看的是“会员”这个主题下的数裾.，至于“会员”主题背后有1000张物理表还是2000张物理表，他都不关心。而主题式数据服务要做的是，从方便用户的视角出发，从逻辑层面屛蔽这1000张甚至是2000张物理表，以逻辑模型的方式构建而非物理表方式。

(2)统一但多样化的数据服务。例如，双十一当天上百亿次的调用服务是统一的，但获取形式可以是多样化的，可以通过API提供自主的SQL查洵数据服务，也可以通过API提供在线直接调用数椐服务。

(3)跨源数据服务。不管数裾服务的源头在哪里，从数据服务的角度出发，都不应该将这些复杂的情况暴露给用户，而是尽可能地屏蔽多种异构数据源。

业务在发展，技术在迭代，方法论也必然不断升级，在实战中沉淀、丰富云上数据中台建设方法论。

五、数据中台产品化服务

在推进阿里数据公共层建设之初，就意识到业务与技术“背靠背"、双向联动的重要性。

在推进阿里巴巴数据公共层建设时，虽然当时在业务上虽然有了几个月的缓冲时间，但维稳业务支持并不是停止业务支持，基本等同于“开着飞机换高能引擎”，虽然有时间和机会，但要快、很、准。

5.1 数据中台核心产品Dataphin

Dataphin是一款PaaS产品，致力于一站式解决智能数据构建与管理的全链路诉求。具体来说，Dataphin而向各行各业的大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费的全链路的大数据能力，包括产品、技术和方法论等，助力客户打造智能大数据体系，以驱动创新。

智能大数据体系的建设，极大地丰富和完善了阿里巴巴大数据中心，OneData、 OneEntity、OneService三大体系也渐趋成熟，并成为阿里巴巴中上至CEO、下至一线员工共识的三大体系。

Dataphin将指导解决所有与大数据体系建设有关的OneData、OneEntity、OneService体系方法论，及其在解决阿里巴巴数据公共层建设，及后续数据体系建设中的实际问题的具体做法全部沉淀下来。

5.2 Dataphin的PaaS服务

Dataphin在赋能阿里生态内外的驱动力下，到底要关注哪些痛点与核心诉求？在Dataphin沉淀过程中，还要考虑哪些因素？Dataphin在解决这些问题的过程中，提供了哪些独树一帜的核心能力？上图所示的正是Dataphin在沉淀过程中考虑的各种因素，以及相应的核心能力输出。

阿里生态内遇到的很多痛点和诉求，阿里生态外的各行业客户也会面临，具体介绍如下。

• CEO关心数据对公司的战略意义及现实意义：这份数据是准确的吗？早上一起床就能看到数据吗？在数据上的投入产出比是怎样的？……

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

-1714428207449)]
[外链图片转存中…(img-yQ0OSVnK-1714428207449)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取