数据中台-让数据用起来-1-2

数据中台

第一章 数据中台：信息化的下一站

1.1 数据中台产生的大背景

1.1.2 从IT到DT，中国信息化演进之路

1996年8月爱特信信息技术有限公司成立，1998年2月爱特信推出搜狐；2000年7月搜狐公司在美国纳斯达克挂牌上市。
1997年6月，网易公司成立；2000年6月在美国纳斯达克挂牌上市。
1998年12月新浪公司成立；2000年4月在美国纳斯达克上市。

1998年至2000年陆续成立的腾讯、阿里、百度再十年后，行程BAT为首的互联网化浪潮

1.1.3阿里与华为对中国数字化进程的贡献

2014年阿里从芬兰Supercell公司接触到中台概念后，在集团内部积极践行，开创了“大中台、小前台”的组织机制和业务机制，通过高效、统一的后方系统来支持前端的机动部队，提高作战效率，减少冗余投入。
2018年，中台概念开始主键深入互联网企业

2018年9月腾讯成立云与智慧产业事业群和技术委员会，后者负责打造技术中台
2018年11月，阿里事业群升级为阿里云与智能事业群，并开始对外输出中台能力
2018年11月，美团正在打通大众点评、摩拜等各业务间数据，构建数据中台
2018年12月，百度高级副总裁王海峰负责基础技术体系和AI技术平台体系，并表示打造技术中台是百度调整组织架构的战略方向之一。
2018年12月，京东进行组织架构调整，增设中台部门。京东商城CEO徐雷强调：要将中台提升为“永不停歇”的超级引擎。

1.1.4 政府支持

2015年指定“互联网+”行动计划。
2016年落实“互联网+”行动计划。大力推行“互联网+政务服务”，实现部门间数据共享。
2017年扩充红“互联网+”模式。
2018年完善“互联网+”模式。加强新一代人工智能研发应用。
2019年全面推进“互联网+”。 运用新技术和新模式改造传统产业，推行信用监管和“互联网+监管”改革。

1.2 数据中台的3个核心认知

• 数据中台需要提升到企业下一代基础设施的高度，进行规模化投入。
• 数据中台需要全新的数据价值观和方法论，并在其指引下行程平台级能力。
• 数据中台围绕业务、数据、分析会衍生出全新人才素养要求，需要尽快启动人才储备。

1.3 数据中台的3个发展阶段

1.3.1 第一阶段：数据中台探索

• 传统的数据应用都是从外网内的（利用外部技术、数据和资源服务内部需求），但是企业自身没有沉淀。
• 特点是项目短小精悍，容易见效果，但是由于缺乏数据中台整体规划及让数据用起来的完整流程设计，无法对众多的单个数据应用沉淀为数据资产。

1.3.2 第二阶段：数据中台整合数据应用提升效率

• 这一阶段特点是构建数据中台的技术，理念、方法论是可复制的，市场上已有成熟的支撑数据中台高效运转的平台级产品。企业通过规划、建设、实施数据中台能够具备三方面的基础能力：
  • 数据的多样性、多态性、多云链接能力。
  • 数据资产化的能力是数据中台建设的关键，包括清洗、加工、治理、安全、治理等工具模块及实施方法论。
  • 数据服务化的能力，用数据技术来使用数据的方法。

有了这三个能力，就能将上一阶段构建起来的场景级数据应用，甚至是历史构建的系统都整合成企业级数据应用平台，既能满足原有系统对数据的需求，又能快速满足新业务场景对数据的需求，将数据作为资产上架，成为共享的生产要素。

1.3.3 第三阶段：数据中台重构数据空间和业务空间

这一阶段，数据中台已经成为企业数据资产的核心能力和基础，通过快速构建数据资产体系，帮企业真正实现对其全量数据的有效管理。

需要引入业务空间和数据空间的基本概念：

• 企业业务空间：业务空间是产生和形成全量数据的根本依据和前提。
• 企业数据空间：企业全量数据的数据空间三个维度（自主生产和消费的数据、外部数据<单项外部获取，或者单项外部提供的数据>、内外部交互的数据）

1.4 开启信息化的下一站

1.4.1

因企业自身组织变革和建设能力的限制，相当长的时间内会有多种建设模式并存以数据中台为驱动的建设模式将有可能成为融汇归一的新型建设模式。

• 软件功能驱动模式
  • 对组织变革和建设能力要求最低，已采购成品为主
  • 目标是业务部门直接使用
• 数据治理驱动模式
  • 针对同一数据的不同问题进行分类治理，通常是业务上遇到难题，立专项解决。
• 业务能力驱动模式
  • 对组织变革和建设能力要求最高，目标是基于企业架构（EA）自上而下开展规划建设，覆盖组织从战略到执行的全业务过程，从业务设计到IT实现。
• 业务服务化驱动模式
  • 该模式专注新技术的引入，通常是面向用户提升体验、面向业务拉通资源调度。

1.4.2

2019年是数据中台爆发的元年。
数据中台的需求不是来源于外部，而是来自于内部，来自企业对自身未来发展的担忧。数据中台是增援未来，是发展的观点解决企业面临的问题，面对不确定的未来，企业无法确认今天的数据未来会怎么用，会产生什么价值，所以才需要数据中台。现在把数据源源不断的接进来，源源不断的资产化、服务化，未来当企业看清楚业务场景，把对数据的需求输入数据中台时，才知道原来数据可以这样使用，才知道怎么去适配。数据中台是对未来场景的能力支撑，是增员未来的能力。

第二章 什么是数据中台

• 传统IT建设方式下，企业的各种信息系统大多是独立采购或独立建设，无法做到信息互联互通，导致企业内部有多个信息孤岛。
• 互联网、移动互联网的发展，导致企业项通过服务号、小程序、O2O平台等新模式触达客户、服务客户，新模式采用新平台支持，产生的数据与传统模式数据也无法互通，加剧了数据孤岛问题。
• 分散在各个孤岛的数据，无法支持企业经营决策，无法应对快速变化的前端业务。需要一套机制，通过这套机制融合新老模式，整合分散的数据孤岛，快速形成数据服务能力，为企业经营决策、精细化运营提供支撑，这套机制就是中台。

2.1 解码数据中台

数据中台是一套可持续“让企业把数据用起来”的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产丙服务于业务的机制。
数据来自于业务，并反哺业务，不断循环迭代，实现数据可见。
通过数据中台，把数据编程一种服务能力。

各大互联网公司在宣布中台战略时，都会伴随组织架构调整。

每家企业的业务与数据状况各不相同，业务对数据的诉求不同，数据中台的建设将呈现不同的特点，没有任何两家企业的数据中台是完全相同的。

数据中台的实施不仅需要一整套技术产品，更需要针对不同业务、数据、应用场景的体系化的实施方法和经验，过程中涉及企业战略、组织、技术、人才等全面的保障和配合。

2.2 数据中台必备的4个核心能力

数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现4个核心能力，让企业员工、客户、伙伴能够方便的应用数据。
这==4个核心能力是数据中台最核心的竞争力，==是企业真正将数据转化为生产力、实现数字化转型和商业创新、永葆竞争力的保障。

1 汇聚数据

数据中台需要对数据进行整合和完善，提供适用、适配、成熟、完善的一站式大数据平台工具，实现数据采集、交换等任务配置及监控管理。
数据中台必须具备数据集成和运营方面的能力，能够接入、转换、写入或缓存企业内外部多种来源的数据，协助不同部门和团队的数据使用者更换的定位数据、理解数据。

2 提纯加工

数据就像石油，需要经过提纯加工才能使用，这个过程就是数据资产化
数据中台必须联通全域数据，通过统一的数据标准和质量体系，建设提纯加工后的标准数据资产体系，以满足企业业务对数据的需求。

3 服务可视化

为了让数据尽快用起来，数据中台必须提供丰富的分析功能，数据资产必须服务于业务分析才能解决企业在数据洞察方面的短板，实现与业务的紧密结合。

4 价值变现

数据中台通过打通企业数据，提供以前无法提供的数据服务能力，以实现数据的更大价值变现。

数据中台4大核心能力不可分割

2.3 数据中台需要厘清的2个概念

2.3.1 数据中台VS业务中台

• 数据中台与业务中台的区别
  业务中台更多偏向于业务流程管控，将业务流程中共性的服务抽象出来，形成通用的服务能力。
  业务中台是抽象业务流程的共性形成通用业务服务能力，而数据中台则是抽象数据能力的共性，形成通用数据服务能力。
• 数据中台与业务中台的联系
  数据中台和业务中台是相辅相成的。
  业务中台中沉淀业务数据进入到数据中台进行体系化的加工，再以服务化的方式支撑业务中台上的应用，而这些应用产生的新数据又流转到数据中台，形成循环补习的数据闭环。

中台，一个企业只需要一个。
现在的数据中台和业务中台，将来可能融为一体，统一成“企业中台”

2.3.3 数据中台VS数据仓库

数据仓库的主要场景是支持管理决策和业务分析，而数据中台则是将数据服务化智慧提供给业务系统，目标是将数据能力渗透到各个业务环节，不限于决策分析类场景。

数据中台建设包含数据体系建设，也就是数据中台包含数据仓库的完整内容，数据中台将企业数据仓库建设的投入价值最大化，以加快数据赋能业务的速度，为业务提供速度更快、更多样的数据服务。

2.4 数据中台VS现有信息架构

数据中台作为解决企业级数据应用难题的新方案，不是一套软件系统，也不是一个标准化产品。
站在企业角度，数据中台更多地指向企业的业务场景，即帮助企业沉淀能力，提升业务效率，最终完成数字化转型。
因此数据中台与企业现有信息架构不存在竞争关系，不会导致企业现有系统、功能和应用的重复建设

2.5 数据中台的业务价值和技术价值

2.5.1 业务价值：从洞察走向赋能业务创新，形成核心壁垒

• 以客户为中心，用洞察驱动企业稳健行动
• 以数据为基础，支持大规模商业模式创新
• 盘活全量数据，构筑坚实壁垒以持续领先

2.5.2 技术价值：能力多、成本低、应用广

• 应对多数据处理需求
  • 要保持原来报表需求，仍需要保持批量离线技术的能力（Hadoop、Oracle RAC）
  • 针对准实时的指标统计和实时推荐，需要实时流式计算的能力（Storm、Spark Streaming、Flink）
  • 针对决策力业务如海量人群的圈人需求和ad-hoc需求，需要即席计算能力（Greenplumn、Elasticsearch、Impala）
  • 针对高并发业务场景（如用户画像），需要在线计算能力（MySQL、Redis、Oracle）
• 丰富标签数据，降低管理成本
• 数据的价值能体现业务系统效果而不仅是准确度
• 支持跨主体域访问数据
• 数据可以快速复用而不仅是复制

数据中台是把数据这种生产资料转变为数据生产力的过程。