数仓灵魂30问之数仓如何分层的？及每一层的作用？

ODS层（贴源数据层）

• 保持数据原貌不做修改，起数据备份的作用
• 数据采用 LZO 压缩，减少磁盘存储空间。100G 数据可以压缩到 10G 以内
• 创建分区表，避免全表扫描
• 创建外部表。在企业开发中，除了自己用的临时表，创建内部表外，绝大多数场景都是创建外部表

DWD层（细节数据层）

DWD 层需构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。
DWD 层的数据需要长期保存。

• 数据建模
  • 选择业务过程
  • 声明粒度
  • 确认维度
  • 确认事实
• 对用户行为数据解析
• 对核心数据进行判空过滤
• 对业务数据采用维度模型重新建模，即维度退化
• 数据采用 parquet 存储方式，是可以支持切片的，不需要再对数据创建索引

DWS层（服务数据层）

统计各个主题对象的当天行为，服务于 DWT 层的主题宽表，以及一些业务明细数据，应对特殊需求。

DWS 层的宽表字段，是站在不同维度的视角去看事实表，重点关注事实表的度量值。
在这一层通常会有以某一个维度为线索，组成跨主题的宽表。比如一个用户当日的签到数、收藏数、评论数、抽奖数、订阅数、点赞数、浏览商品数、添加购物车数、下单数、支付数、退款数、点击广告数组成的多列表。

DWT层/DM层（数据集市层）

以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建主题对象的全量宽表。

数据仓库是企业级的，那么数据集市就是部门级的。数据集市关注更少的指标，更少的维度，更少的主题。

ADS层/APP层（数据应用层）

根据实际应用进行组成。