目录
概述
数据中台不仅仅是一个技术栈,还是一种经营理念;需要利用数据中台理论提高企业的组织效率、协同效率、运营效率
不仅仅是业务和技术聚在一起,业务提需求,技术画架构,然后开发实现,这样一定做不好数据中台,它首先一定要在组织架构上表现出来,有组织保障。同时技术需要工具承载;因此数据中台是方法论+组织+工具的集合;最后的表现形式为:数据+服务+解决方案+组织。
特点
- 是一套能够持续将企业数据应用起来,产生价值的应用机制;
- 是一套不断将数据形成资产,并服务于业务的产品模式与架构方法论
- 数据来源于业务,然后反哺业务,形成闭环,从而帮助企业实现数据的可见、可用、可运营。
- 提高效率。消除烟囱,实现数据集成、标准统一,方便数据共享。
- 能够降低创新成本,这里的创新不是颠覆性的创新,而是基于现有的业务,通过合并简化式的创新,以适应变化的市场。
数据应用成熟度
- 查询统计
数据分散存储在业务系统中,无统一质量管控,以查询统计为主
- 决策支持
数据集中存储在数据仓库中,有一定的数据质量管理,主要用于决策支持
- 数据驱动
以数据价值驱动,采集更多数据:包括数据类型、数据量
- 运营优化
统一规范化数据和应用,优化数据中台,形成数据应用闭环
核心:让数据产生价值
- 尽可能地采集数据,包括结构、半结构、非结构数据
- 更好地整理数据
ETL过程:清洗、转换、加载
数据仓库:多维建模、ER建模
- 挖掘数据潜在的价值
与传统数仓的区别
传统数据仓库先把业务数据归集,根据数据发展业务,也就是“有什么数据做什么业务”;数据中台根据业务归集数据,先考虑做什么业务,做这些业务需要什么数据,然后产生和收集需要的数据,形成数据的循环,也就是“有什么业务就产生什么数据”。因此传统建设数仓周期长,见效慢,数据中台采用小步快跑,见效快,逐步迭代。
数据中台更加重视数据服务,比如数据分析、数据播报、数据运营。目标是被集成到更多的业务系统,因此考核的重要方面:核心表数、接口数据、被调用次数和频率、数据协同情况。
技术架构
建设思路
自上而下
- 盘点数据资产
- 规划数据架构
- 挖缺数据价值
自下而上
- 按业务需求规划第一个主题域
- 建设其他主题域
- 数据治理