企业数据仓库搭建学习之二-分层架构

数据仓库系统数据流程图

分层框架问题:

计算框架:Flink存储框架:实时写入+实时读取+延迟低:Kafka
ODS：原始数据层

Kafka

DIM: 公共维度层

事实表根据主键查询维度表明细(根据主键查询,永久存储)

Kafka：1.无法根据主键查询;2.无法永久存储

HBase：可行可列,仅有一个列族时就是行存

Mysql：如果使用MySoL,注意要使用从库

ES：默认给字段创建索引

Redis：用户维表数据量大
ClickHouse：列存
Hive/HDFS：慢

DWD：明细数据层

Kafka

DWS：汇总数据层，需要根据维度聚合指标

        ClickHouse

        Doris

ADS：数据应用层，SQL语句

小结：数据仓库分层框架，介绍ODS,DIM,DWD,DWS,ADS各个分层的计算和存储框架分析