数据中台【概述篇】

最新推荐文章于 2024-04-28 22:14:09 发布

程序员学习圈

最新推荐文章于 2024-04-28 22:14:09 发布

阅读量7.1k

点赞数 3

分类专栏： # 数据中台文章标签：数据中台

本文链接：https://blog.csdn.net/Luomingkui1109/article/details/102548948

版权

数据中台专栏收录该内容

12 篇文章 9 订阅

订阅专栏

1.数据中台的定义

数据中台是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制。

数据中台的使命就是持续让数据用起来，它的一个根本性创新就是把“数据资产”作为一个基础要素独立出来，让成为资产的数据作为生产资料融入业务价值创造过程，持续产生价值，业务产生数据，数据服务业务，业务在阳，数据在阴，阴阳互补，形成闭环。

2.中台的分类

2.1 中台的分类

业务中台，提供重用服务，例如用户中心、订单中心之类的开箱即用可重用能力，为战场提供了空军支援能力，随叫随到，威力强大。
数据中台，提供数据分析能力，帮助从数据中学习改进，调整方向，为战场提供了海军支援能力。
技术中台，提供自建系统部分的技术支撑能力，帮助解决基础设施，分布式数据库等底层技术问题，为前台特种兵提供了精良的武器装备。
算法中台，提供算法能力，帮助提供更加个性化的服务，增强用户体验，为战场提供了陆军支援能力，随机应变，所向披靡。
研发中台，提供自建系统部分的管理和技术实践支撑能力，帮助快速搭建项目、管理进度、测试、持续集成、持续交付，是前台特种兵的训练基地。
组织中台，为项目提供投资管理、风险管理、资源调度等，是战场的指挥部，战争的大脑，指挥前线，调度后方。

2.2 数字化中台分类

业务中台的作用是“沉淀、标准、共享”，沉淀基于最佳业务实践的业务模型、业务构件等资源，封装为面向未来业务流程的、可复用的标准化微服务组件。

数据中台的作用是“打通、整合、服务”，以关键业务要素为核心，打通多个系统的数据壁垒，整合建立业务关系的数据链集合，封装为可对外提供的数据服务。

技术中台的作用是“支撑、集成、使能”，作为整个中台的技术支撑，集成各种软硬件的能力接口，为业务中台和数据中台提供技术基础设施的使能工具。

3.数据中台的核心能力

数据中台帮助企业实现数据的汇聚整合，完成数据采集、交换、集成等任务的可视化配置以及监控管理；

实现数据的提纯加工，加深对数据的理解，得到高质量的数据标签；

实现数据的服务可视，提供简便数据服务开发环境以及先进的数据分析等能力；

最终实现数据的价值变现，打通数据驱动业务的通路，跨部门实现业务价值。多维能力缺一不可，不断迭代，持续深化企业数字化转型。

4.数据中台的演进过程

数据库：主要用来存储数据。
数据仓库：通过对存储的数据进行分析、处理，为业务决策者提供分析报表，发挥辅助决策的作用。通常数据仓库对数据的提取是按照需求来抽取的结构化数据，不是企业的全量数据，其分析报表的呈现需要一定时间，实效性较差。
数据平台：针对数据抽取无法及时满足业务需求的痛点，把所有业务数据汇聚、集合成为一个大的数据集，再根据业务需求单独提取其中的小数据集，用来满足数据应用。
数据中台：是以上数据处理形式的补充和升级，旨在从企业整体业务层面出发，实现D2V（Data to Value），通过构建数据API (Application Programming Interface，应用程序接口)，使得数据响应业务的速度更快，为数据产生价值提供桥梁，它可以建立在数据仓库和数据平台之上，以数据 API 服务提供给业务方。

说明：数据中台、数据仓库、数据平台的关键区别

概念定义：

◆ 数据仓库具有历史性，其中存储的数据大多是结构化数据，这些数据并非企业全量数据，而是根据需求针对性抽取的，因此数据仓库对于业务的价值是各种各样的报表，但这些报表又无法实时产生。数据仓库报表虽然能够提供部分业务价值，但不能直接影响业务。

◆ 数据平台的出现是为了解决数据仓库不能处理非结构化数据和报表开发周期长的问题，所以先撇开业务需求、把企业所有的数据都抽取出来放到一起，成为一个大的数据集，其中有结构化数据、非结构化数据等。当业务方有需求的时候，再把他们需要的若干个小数据集单独提取出来，以数据集的形式提供给数据应用。

◆ 数据中台是在数据仓库和数据平台的基础上，将数据生产为为一个个数据 API 服务，以更高效的方式提供给业务。

发展历史：

◆ 数据库：数据库技术最初产生于20世纪60年代中期（根据数据模型的发展,可以划分为三个阶段:第一代的网状、层次数据库系统;第二代的关系数据库系统;第三代的以面向对象模型为主要特征的数据库系统）。

◆ 数据仓库：数据仓库出现在1991年、比尔恩门提出数据仓库的概念，恩门和金博尔发明了两种数仓的建模方法。

◆ hadoop诞生：2005年Hadoop诞生、纳入Apache基金会。

◆ 数据湖：2010年，James Dixon 在纽约 Hadoop world大会上提出了数据户的概念。

◆ 数据平台：面向研发场景的全链路数据研发解决方案。

◆ 数据中台崛起：2016年由阿里提出，倡导避免数据重复建设，提到数据共享能力。