ODS层(贴源数据层)
- 保持数据原貌不做修改,起数据备份的作用
- 数据采用 LZO 压缩,减少磁盘存储空间。100G 数据可以压缩到 10G 以内
- 创建分区表,避免全表扫描
- 创建外部表。在企业开发中,除了自己用的临时表,创建内部表外,绝大多数场景都是创建外部表
DWD层(细节数据层)
DWD 层需构建维度模型,一般采用星型模型,呈现的状态一般为星座模型。
DWD 层的数据需要长期保存。
- 数据建模
- 选择业务过程
- 声明粒度
- 确认维度
- 确认事实
- 对用户行为数据解析
- 对核心数据进行判空过滤
- 对业务数据采用维度模型重新建模,即维度退化
- 数据采用 parquet 存储方式,是可以支持切片的,不需要再对数据创建索引
DWS层(服务数据层)
统计各个主题对象的当天行为,服务于 DWT 层的主题宽表,以及一些业务明细数据,应对特殊需求。
DWS 层的宽表字段,是站在不同维度的视角去看事实表,重点关注事实表的度量值。
在这一层通常会有以某一个维度为线索,组成跨主题的宽表。比如一个用户当日的签到数、收藏数、评论数、抽奖数、订阅数、点赞数、浏览商品数、添加购物车数、下单数、支付数、退款数、点击广告数组成的多列表。
DWT层/DM层(数据集市层)
以分析的主题对象为建模驱动,基于上层的应用和产品的指标需求,构建主题对象的全量宽表。
数据仓库是企业级的,那么数据集市就是部门级的。数据集市关注更少的指标,更少的维度,更少的主题。
ADS层/APP层(数据应用层)
根据实际应用进行组成。