数仓开发规范

前言

1.1 背景

 为了避免底层业务变动对上层需求影响过大，屏蔽底层复杂的业务逻辑，尽可能简单、完整的在接口层呈现业务数据，建设高内聚松耦合的数据组织，使数据从业务角度可分割，显得尤为重要。从整个集团业务条线出发，形成数据仓库总体概念框架，并对整个系统所需要的功能模块进行划分，明确各模块技术细节，建设一套完整的开发规范。

1.2 目的

便于数据的统一管理和使用，达到见表识其义，且易于维护，制定此操作规范，此规范针对本部门开发人员，望共同遵守。

1.3 术语

    ETL：也即是数据抽取、清理、装载，是数据仓库建设的核心一环。
    
    ODS：操作数据存储ODS（Operational Data Store）是数据仓库体系结构中的一个重要部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，主要存储原始库表同步过来的数据以及接口上报采集过来的数据。

    DW：数据仓库（Data Warehouse）, 面向主题的、集成的、相对稳定的、随时间不断变（不同时间）的数据集合。

2 分层规范

统一拉通层：

把DW层的数据做统一的清洗处理。去重、去噪、字典翻译、空值转化，日期格式化等操作。

DWD（明细层）:

和ODS粒度一致的明细数据，对数据进行去重，脏数据过滤和砍字段处理，空处理，保证数据质量，简单逻辑通过视图实现，并解决数据的完整度问题。

DWS（服务层）：

轻度汇总数据及集市大宽表(按主题)存放数据。

DIM:（ 维表层）：

通过ods层获取得到。

APP：（应用层）:

存放应用类表数据，如标签，各业务部门报表，第三方应用数据，按应用主题存放一般是业务部门，如销售、风控、运营、财务等。

3 表规范

3.1 命名

维表 命名形式：dim_描述
事实表 命名形式：fact_描述_[AB]
临时表 命名形式：tmp_ 正式表名_ [C自定义序号]
桥接表 命名形式：map_主题_描述_[AB]
宽表 命名形式：dws_主题_描述_[AB]
备份表 命名形式：正式表名_bak_yyyymmdd
表命名解释：

1）表名使用英文小写字母，单词之间用下划线分开，长度不超过40个字符，命名一般控制在小于等于6级。

2）其中ABC第一位"A"时间粒度：使用"c"代表当前数据，"h"代表小时数据，"d"代表天数据，"w"代表周数据，"m"代表月数据，"q"代表季度数据， "y"代表年数据。

3）其中ABC的第二位"B"表示对象属性，用"t"表示表，用"v"表示视图。

4）其中ABC的第三位"C"自定义序号用于标识多个临