什么是中台?
什么是数据中台
数据仓库实现了企业数据模型的构建,大数据平台解决了海量、实时数据的计算和存储问题,数据中台要解决什么呢?数据如何安全的、快速的、最小权限的、且能够溯源的被探测和快速应用的问题。
数据中台不应该被过度的承载平台的计算、存储、加工任务,而是应该放在解决企业逻辑模型的搭建和存储、数据标准的建立、数据目录的梳理、数据安全的界定、数据资产的开放,知识图谱的构建。
通过一系列工具、组织、流程、规范,实现数据前台和后台的连接,突破数据局限,为企业提供更灵活、高效、低成本的数据分析挖掘服务,避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本。
厚平台,大中台,小前台;没有基础厚实笨重的大数据平台,是不可能构建数据能力强大、功能强大的数据中台的;没有大数据中台,要迅速搭建小快灵的小前台也只是理想化的。
数据中台必须基于一个健壮的积累厚的平台,构建数据中台不像是技术中台那样涅槃重生,但是要求一个足够健壮的数据平台和一个可以容纳所有模型的数据仓库。
“我得把所有的数据都放进去,然后按照同一规格来处理”。
数据中台在资源中台与技术中台都打通后再建设更好,他们没有打通造成的数据孤岛是数据中台建设道路上的第一道坎。
数据中台更像是把数据平台的能力全部压榨出来,对外提供数据服务。
这就有点像技术平台了,把相同的服务都摊平了给电台调用。
初期:以部门为单位的IT建设
98年中国互联网诞生至今,已经20多年了,在最开始人们疯狂追求IT建设,遗留下了大量的CRM.OA.ERP.财务软件等等。
后来呢,需要信息共享了,那咱们就开接口呗。
SOA架构:突破信息孤岛,实现业务共享
假如我们公司内部有五个系统,每个系统都要与其他系统互联,那么就需要开放20个接口出来,那么系统的可维护性就大大减低了。
为了解决这种乱开接口的方式,就提出了SOA架构,使用一个中间系统连接五个系统。
互联网架构:高并发、高吞吐量
互联网时期的架构是用户通过互联网访问业务系统,业务系统与业务系统数据库集群进行沟通的架构。
从最开始的烟囱模型,慢慢的分库分表,分布式架构的替换,到最后的读写分离。
数据应用成熟度
-
查询统计
数据分散存储于各系统中,无质量管控,查询统计为主。
-
决策分析
数据集中存储于数据仓库中,有质量管控,决策支持。
-
数据驱动
以数据价值驱动,采集更多数据,构建数据中台。 -
运营优化
规范数据,规范数据应用,优化中台,形成应用闭环。
数据中台基本特征
-
覆盖全域数据
数据集中建设,覆盖所有业务过程,建立相互联系 -
结构层次清晰
纵向数据分层,横向主题域划分,涵盖业务全过程 -
数据标准一致
统一的命名、统一的业务含义、统一的计算口径 -
降本提效
统一建设,业务共享,统一规划,提升效率
数据中台的建设思路
- 自顶而下
清理数据资产
规划数据架构
挖掘数据价值
思考要开展哪些数据业务
分析这些业务需要哪些数据
规划数据该如何采集与整理
自顶而下的建设思路的缺点在于这张饼摊的太大,有可能最开始就是几个表,摊到最后发现涉及多个系统,数十个库,近千张表,而且各方各面都要整理自己,肯定会有藏匿起来的犄角旮旯,造成的后果就是整理的不彻底。
- 自下而上
现有业务系统
第一个主题域
更多主题域
数据集市
数据质量/血缘管理
数据分析与挖掘
人工智能
自下而上的建设思路从业务系统出发,整理数据域,理清数据血缘关系来支持人工智能的研发。