数据层 | 说明 |
ODS(数据运营层) | 结构和原系统结构一致,原封不动的接入原始数据 |
DWD(数据明细层) | 和ODS数据粒度一致,对数据惊醒清洗,新增标准编码进行一定维度的退化,减少下游事实表和维表的关联 |
DW(数据聚合层) | DWA(轻度汇总)轻度聚合中间表提升模型的复用性 DWB(高度汇总)基于DWD、DWA进行高度聚合,存放宽表模型,用于提供后续的业务查询,OLAP分析 |
ADS(数据应用层) | 提供给数据产品和数据分析使用的数据,一般会存放在Hbase、ES、mysql等中供线上使用,也可放在hive、ClickHouse提供数据数据分析和数据挖掘使用,如报表模型 |
DIM(维度数据层) | 高基数维度数据:一般是顾客表、商品表等数据量比较多 底基数维度数据:一般是配置表、比枚举值对应的中文含义、日期转换维表、数据量比较少 |