数据仓库 开荒

一 数仓分层

1.1 ODS DWD DWS ADS

• ODS（Operation Data Store）

原始数据层：用来存放原始数据，直接加载原始日志、数据，保持原样不处理

• DWD（Data Warehouse detail）

数据明细层：结构 & 颗粒度与ODS保持一致
	对ODS层数据进行清洗(去除空值、脏数据、超范围数据)

• DWS（Data Warehouse service）

数据服务层：以DWD为基础进行轻度的汇总统计
	按照数据的类别进行同类汇总

• ADS（Application Data Store）

数据应用层：为各种App提供直接的数据

1.2 分层的目的

• 简化复杂问题

一个复杂任务---------分解---------->多个步骤
每一层只处理一个逻辑，方便定位问题

• 减少重复开发

DWS层的数据可以多个项目重复复用

• 隔离原始数据

ODS层始终保留原貌，后期处理不会变动原始数据

1.3 各数据层命名规范

ODS

xxxxxx_ods

DWD

xxxxxx_dwd

DWS

xxxxxx_dws

ADS

xxxxxx_ads

临时表 & 备份表

临时表

xxxxx_xxx_tmp

备份表

xxxxx_xxx_bak