数据中台的概念和价值已被越来越多的有识之士所接受,也有越来越多的企业也开始了数据中台的实践和落地。拨开数据中台的迷雾,他就像一个健壮的青年一样,有经络、有血液、有大脑。
经络,就是硬件的计算和存储的能力;血液,就是数据模型设计和管理能力;大脑,让业务更智能的能力。我们这里就围绕其中的“血液”,开始数据模型设计的旅程。
本文通过从几个我们常听到的概念入手,介绍模型设计与他们的关系;再给个模型建设成功的小目标;并看看当前企业常见的几种建设方式;最后引入我们的主角“维度建模”登场。
与几个概念的关系
操作型业务系统
对于这个概念大家都不陌生。企业业务赖以运转的交易系统就属于操作型业务系统。因此它是为了保障业务正常运转,能够更快的处理事务。
但是因为它是针对某一特定的意图(例如满足交易业务),它不需要承诺与其他业务系统共享公共数据。因此就出现了适合于企业中交叉应用的ERP、主数据系统。当然对于有建设业务中台的企业来说,基于微服务架构的各个服务中心,能更好的提供可复用统一的公共数据。
不管是面向业务的业务系统、经过数据统一后的主数据系统或者基于微服务架构的服务中心的数据,都是作为数据中台的数据输入源头。我们通过批量同步、归档日志采集等方式,能将数据采集进数据中台,作为ODS层原始数据的一部分。
ETL
英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。在ODS层的原始数据,需要通过加工处理后