数仓的分层
1 经典的数仓分层架构
数仓分层算是一种数据冗余的机制,在上一层做一定的数据处理,提升了维度信息
大数据的特点就是海量数据,将海量的数据进行分层之后,最原始的数据存储周期可以实地降低,能够缓解存储压力,而更上层的数据,因为是处理过的数据,数据量相对来说会小一点,存储周期会更长一点
2.0 DIM层
建立一致数据分析维表
2.1 ODS层
又叫贴源层,需要储存的数据量是最大的,最原始的,用来存放最底层数据
ods建表时,如果使用hive进行处理,一般建立外部表
2.2 DWD层
又叫数据明细表,主要存储事实表为主,会做数据映射
dwd存储数据,一般就是维度表,事实表,实体表等数据
2.3 DWS层
俗称数据服务层,也有叫数据聚合层,为上层ADS层提供服务
2.4 ADS层
应用服务层,一般用于对接OLAP分析,或者业务层数据调用接口了
ads属于顶层,一般都是结果类型数据,可以直接进行展示,
ads是需求最为明确的一层,根据业务需求来决定数据维度和结果分析,类似于代码最外层,接口是相对最固化的
--全凭个人理解