#数仓架构分析

数仓基础架构

一.逻辑分析

ODS(存储层) DWD(明细层) DWS(聚合层) ADS(应用层)
技术选型：数仓一般以hadoop生态圈为主，离线以hive为核心；准实时以spark为核心； 实时以flink为核心

二.数据调研

①业务调研：概念模块(cdm) 逻辑模型(ldm) 物理模型(pdm)
②需求调研：报表需求，统计需求，用户画像，推荐系统
③数据库调研：了解数据库表数据结构，数据形态，全局把握业务流程数据流向，做到真正 的业务流程和数据结构结合

三.主题划分

选择业务过程 声明粒度 确认维度 确认事实

四.数仓规范

①设计规范：逻辑架构，技术架构，分层设计，主题划分，方法论
②命名规范：各层级命令，任务命令，表命名，字段命名
③模型规范：建模工具，血缘关系，维度建模，维度退化，元数据管理
④开发流程：脚本注释，字段别名，编码规范，脚本格式，数据类型，缩写规范
⑤流程规范：需求流程，工程流程，上线流程，调度流程，代码

五.数据治理

包括：数据质量，元数据管理，数据安全，数据生命周期
① 数据质量：数据保证完整性，准确性，一致性，时效性；每个任务都应该配置数据质量 监控，预警和优化任务
② 元数据管理：可分为技术元数据和业务元数据
③ 数据安全：即数据保密性，真实性，完整性，授权拷贝