数仓分层及命名规范

一、分层

1、ODS层

原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌，不做任何处理。

2、DWD层

对ODS层进行清洗，比如处理里面的空值、脏数据、极限值

3、DWS层

对DWD层进行join 或者聚合、汇总操作

4、ADS层

为各种统计报表提供数据

二、分层优点

1、把复杂问题简单化

将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单、并且方便定位问题。

2、减少重复开发

规范数据分层，通过的中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。

3、隔离原始数据

不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开。

三、命名规范

ODS层命名为ods前缀

DWD层命名为dwd前缀

DWS层命名为dws前缀

ADS层命名为ads前缀

维度表命名为dim前缀 ，如地域维度、时间维度

每日全量导入命名为df (day full)后缀

每日增量导入命名为di (day increase)后缀