数仓分层的意义
数据仓库为企业提供数据支撑,数据到了数仓并不是总结,反而恰恰是一个开始。数据在数仓进过清洗、转换和加载,利用OLAP能力,向上为企业各业务赋能。
为什么要对数仓进行分层?
- 把复杂的问题建单化
数仓在建模的时候按照一定的规则进行,而对其分层则是把一个复杂的问题分层次来解决,各层解决不同的问题 - 数据结构更清晰
分层建模的好处也表现为数据的结构层次更为清晰,每一层做什么事情一目了然,查询数据时也可一步到位的查找到数据 - 数据重复使用
数据分层使得数据模块化,复用性高,极大的减少重复计算。而数据的重复使用恰恰是数据中台最为明显也最为重要的一个标识
合理的划分数据层次,规整数据,才可以更有效,更高效的支撑业务的发展。同时也是数据治理的基础。
怎么对数仓分层
数仓的分层不是一概而论的,要根据实际情况,对数仓进行合理的分层。一般把数仓分为四层
- 基础数据层
从数据源同步来的原始数据,一般不做任何处理 - 明细数据层
从基础数据按照一定的规则(比如维度建模)建立的明细数据层,对基础的数据做了一定的处理,但是很少聚合 - 主题数据层
这一层用来做明细数据的"聚合",一种"聚合"是按照主题来划分数据,把数据"聚合"起来。另一种"聚合"是对数据进行预计算。 - 数据应用层
完全面向需求的一层,按需建设。