数仓建设之九阴真经

什么是大数据建设方法论

简介：主要是围绕集团数据资产建设和管理的丰富实践沉淀总结下来的经验和方法。主要包括数仓建设、规范定义和数据治理的一些内容。

数仓建设流程

1、业务调研、需求分析

了解业务整体架构及各业务板块间的关系、各业务板块的核心功能、用户的组织架构和分工、数据分析需求。

2、划分业务板块、数据域和业务过程

先划分业务板块，梳理核心业务过程，再面向业务分析抽象出数据域进行纵向划分。

数据域是指面向业务分析将业务过程进行抽象的集合。数据域需要抽象提炼，有高稳定和扩展性。

业务过程可以概括为一个个不可拆分的行为事件，如下单、支付、退款。

3.、构建总线矩阵和明确指标定义方式

基于业务过程和维度的关系来构建总线矩阵。通过总线矩阵，可以对整个数仓结构有一个清晰的了解，可以更方便准确的建设事实表模型和一致性维度模型。

根据业务调研和分析需求调研结果，明确有哪些核心指标，同时要明确指标定义方式，指标跟业务过程、业务修饰词、维度、时间周期之间的关联关系。

4、数据层级划分、各层级的建模规范

数据层级主要分为数据引入层ODS、数据公共层CDM（DIM/DWD/DWS）、数据应用层ADS。

ODS层：经过初步清洗的原始数据层。

DWD层：以业务过程作为建模驱动，构建最细粒度的明细事实表。表命名: dwd_{业务BU缩写/pub}_{数据域缩写}_{业务过程缩写}[_{自定义表命名标签缩写}] _{单分区增量全量标识}

DWS层：以分析的主题对象作为建模驱动，构建公共汇总事实表。表命名：dws_{业务BU缩写/pub}_{数据域缩写}_{数据粒度缩写}[_{自定义表命名标签缩写}]_{统计时间周期范围缩写}。

DIM层：基于维度建模思想，建立的一致性维度模型。

ADS层：存放根据业务数据需求建设的个性化统计指标数据。

通用的建模规范：高内聚和低耦合、核心模型与扩展模型分离、公共处理逻辑下沉及单一、成本与性能平衡、数据可回溯、数据一致性、命名清晰可理解。

5、ETL建模

前面4步是把数仓架构和模型规范确定下来，接下来就是借助数据平台工具通过具体的ETL建模，真正把数仓建设出来。但通常为了保障数据质量，光有口头规范还不够，还需要一些数仓工具比如模型健康度检测工具、元数据完整度检测、数据质量监控等，来确保建设过程能严格按照规范来，建设出一个高质量数仓，更好的发挥数据价值来赋能业务发展。