数据中台-数据中台初识

一、数据中台现象

数据中台近两年非常火热，数据中台的热度已经拆超越了数字化转型的热度并且一直在上升。数据中台发起于2018年，崛起于2019年3月，目前已经远远超越了数据仓库，商业智能。

企业对数据中台的期望：与业务更精密，提供数据服务，提供业务价值，快速开发数据服务，围绕业务场景，提供统一数据，为业务赋能，构建统一的数据资产，打通数据的孤岛。

以上是企业的现实需求，那么为什么现有的数据仓库，数据平台（数据湖），商业智不能很好的满足这些需求呢。要弄清楚这个问题，我们就要弄清楚数据中台和前面这些东西的区别在哪里。

商业智能和数据仓库：已分析报表为核心，把数据加工成分析报表提供给决策层去看，从而实现辅助决策的功能。商业智能的底层，是数据仓库。主要使用者是决策者。
数据湖：结构化数据和非结构化数据快速为业务产生数据服务，以数据存储和大数据为核心。主要的使用对象是开发者。

数据中台： 希望是直接服务于业务的平台，距离业务更近，用多种方式直接为业务提供数据产品。

从出发点来说。数据中台优先考虑的是业务需要什么导向，是以业务需求为出发点。数据平台是存储加工数据的平台，所实现的功能取决于拥有的数据情况。是以技术和数据为导向的。

从度量来看。数据中台做的好不好是以数据服务客户的满意度。数据平台的度量是看数据质量。

数据中台要核心解决的问题是过去企业应用开发团队和数据开发团队的协同问题，其中包括效率问题（应用开发一个报表都需要十几天时间），协作问题（获取数据错误，同样的数据逻辑却要开发两遍），能力问题（应用开发的人员很多，懂数据开发的人员很少）。数据中台能让应用开发专注于应用开发，让数据开发团队专注于数据开发。

数据中台是加速源数据产生业务价值的服务工厂，按照Gartner的分层架构理念，上面的是前端的创新型系统，下面是后端的记录型系统，中间的是链接前端创新想系统和后端的记录型系统的系统。上面的前台叫做敏态，下面的后台叫稳态。比如现在企业的erp等系统，这些系统偏企业后端的系统一般变化比较小，所以我们叫做稳态系统。比如h5广告，用户画像，这些系统是随着外界的变化而不断在变化，所以我们把它们叫叫做敏态系统。所以需要一个链接这两种系统的平台，于是中台产生了，中台的作用是使两种系统的速度一致，让后台提供服务给前台更快更敏捷。即数据中台是为了协调敏态前台业务和稳态的后台的速度，让他们之间的协作更加流畅，从而加速从元数据到业务价值的产生过程。

二、现在业界常见的数据中台架构

阿里数据中台

阿里数据中台是由Service，Entity，Data为核心组成。主要是三个方面的内容：OneData(业务数据化)，OneEntity(数据业务化)，OneService(业务服务化)。

菜鸟数据中台

苏宁数据中台

数据中台对企业的意义就是，让传统企业向科技企业升级，让IT系统集成向大数据集成升级，让工具/流程/管理向驱动业务运营升级。

数据平台：

1.有完整的数据模型设计，但偏重设计和技术，在执行过程中，很难保证数据的全，数据应用一般不考虑跨过数据中心。

2.初期数据发展快，效率高，快速体现业务价值，但是随着数据仓库的建设，数据量急速叠加，整体成本居高不下。导致数据混乱，灾难。

数据中台:

1.数据中台的基本理念是：将所有数据汇聚到数据中台，每个数据应用都以数据中台为唯一数据来源。

2.苏宁数据中台的目标是为苏宁的数据战略提供有力的支撑，从企业全进行统一规划，统一建设，强调数据“全”。从设计、组织、建设、流程角度保障了模式的落地。

3.数据中台的建设减低了数据使用门槛。

滴滴数据中台

数据中台不是简单的把数据相应的模块系统放在公司里面搭建起来就ok。

数据可能今后发挥价值最大的地方是赋能AI。通过建立好数据中台服务层，再把它演变成对应的特征层，来驱动出这样强化学习的营销体系，目前滴滴的数据中台更多的产生价值在生产侧。

目前存在的一些困难问题:

1.在数据生产价值线（数据->生产->价值）中质量，效率，成本的问题.

2.数据实际上是现实物理世界在数据世界中的投影，那么不同的场景就会产生不同的投影，同样的业务行为在不同的场景下会有不同的分析角度。在业务角度，当然希望这种场景和维度越多越好，但是这会给数据管理带来很大的难度。

Oppo数据中台

Oppo日活跃用户超过2亿，在运营这些互联网应用的过程中，oppo积累了大量数据，已超过100PB，日增数据量超过20TB，oppo的数据中台以数据仓库为核心，构建了实时的数据服务能力。

Oppo把数据中台分成了4个层次，:

1.最下面的是统一工具体系，涵盖了“接入->治理->开发->消费”全数据链路。

2.基于工具体系之上构建了数据仓库，划分为“原始层-明细层-汇总层-应用层”，这也是经典的数据仓库架构，数据仓库在整个架构中处于非常基础和核心的位置。

3.再往上就是全域的数据体系，全域就是把公司所有的业务数据都打通，形成统一的数据资产，如ID-mapping，用户标签等。

4.最终，数据要能被业务用起来，需要场景驱动的数据产品与服务。

浙江移动数据中台

打造数据中台，实现跨域数据整合并沉淀公共的数据能力，同时提供丰富的数据模型，标准化的数据服务，个性化的开发平台与工具，满足一线数据开放和智慧运营要求。

从业务数据化到数据业务化

三、数据中台的愿景和使命

数据中台的愿景:打造数据驱动的智能企业

数据中台的使命:赋能业务以数据智能能力，让业务更智慧

四、数据中台的本质和六大能力模型

数据中台的本质:数据中台是数据服务工厂为企业提供可复用的数据智能服务

数据中台的六大能力模型：

数据资产的规划和治理：

数据资产的规划和治理，是数据中台的基础功能，它的目的是为了在构建数据服务，数据产品，数据应用之前，先画出企业的数据资产蓝图，尽可能的涵盖企业所有的可能产生和使用的数据，不论是企业内部数据还是外部数据。

数据资产的规划和治理体系，是企业数据战略的体现，承载系统是企业级数据资产目录(Data Asset Catalog)。

数据资产的规划和治理，是从根本上最大限度解决数据孤岛(Data Silo)问题的方案，也就是在应用构建，数据产生之前就规划好数据的产生和消费的数据流体系，从而所有的应用都按照这个规范来执行。

数据自元的获取和存储：

在企业梳理了构建了自己的数据资产蓝图后，就需要将这些数据资产对应的数据资源进行存储和存储，也就是很多企业常说的，“数据入湖”。

数据资源的获取和存储，在广义数据中台体系里是数据平台的一部分，不同的企业在不同的阶段，可以采用的技术手段是不一样的，关系型数据库，大数据平台，数据湖，乃至最简单的文件存储都可以作为数据资源存储获取的方式，并不一定要拘泥于一种形式。

这个模块的核心是数据资源是能够被按需获取到的，这也就意味着，哪怕我们不构建独立的数据存储，让数据留在源系统中，只要能够在需要的时候获取到，也是可以的。

数据资产的共享和协作：

如何能够让企业的业务更智慧，这里最重要的事情就是跨域数据的组合和分析，不同领域的数据的挖掘，整合才能产生人的经验所不能够具备的洞察。

数据中台区别于传统数据仓库的一个重要的特点，就是数据中台是企业的数据服务的协作生产平台，他是一个能够让业务需求人员，数据分析人员这样的数据使用方和数据工程师，数据管理员这样的数据提供方在一个平台上去共同使用同一套企业的数据资产的协作平台。这里很重要的功能就是企业数据门户，企业数据目录和数据版本管理，数据沙箱（Sandbox)，数据分级权限体系。

业务价值的探索和分析：

数据中台是一个数据服务工厂，那么这个工厂应该生产什么服务呢？

就像传统的工厂都会有一个研发中心一样，数据中台需要一个数据实验室平台，能够让业务人员，数据分析人员，数据科学家们在数据协作平台上，利用同一套数据进行业务价值的探索和分析，从而识别有价值的数据集，然后在批量生产，形成数据产品和服务。

这部分重要的功能是数据挖掘，数据科学平台，算法平台，机器学习平台等。

数据服务的构建和治理：

当有价值的数据服务在实验室（研发中心）中被识别出来，并且通过协作平台被验证，那么这个过程就要被工业化，形成一个数据服务的生产线（Data Pipeline），从而能够被自动，批量的生产出来，为业务提供按需的服务，这就是数据服务的构建部分。

数据中台会生产非常多的数据服务，所以，数据中台同时要提供这么多数据服务的治理功能，从而保证数据服务的全生命周期体系化管理，优化有价值的数据服务，下线过时的数据服务。

数据服务的度量和运营：

传统的数据仓库系统往往只关注系统的稳定性，但是并不关注提供的数据报表的使用情况，被应用的如何，是否为业务产生了价值。而数据中台作为企业的数据服务工厂，是一个运营数据服务的业务单元。

整理于2020年10月14日