实时数仓各层

最新推荐文章于 2024-08-18 19:43:49 发布

冷艳无情的小妈

最新推荐文章于 2024-08-18 19:43:49 发布

阅读量107

点赞数 3

文章标签：大数据 java kafka json hbase

本文链接：https://blog.csdn.net/wuhahaq/article/details/129883448

版权

分层	数据描述	生成计算工具	存储媒介
ODS	原始数据，日志和业务数据。可通过Kafka进行收集	日志服务器，maxwell	kafka
DWD	根据数据对象为单位进行分流，比如订单、页面访问等等。可存储在Kafka中	FLINK	kafka
DWM	对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。	FLINK	kafka
DIM	维度数据。可存储在HBase中	FLINK	HBase
DWS	根据某个主题将多个事实数据轻度聚合，形成主题宽表。可存储在Doris、ClickHouse、Elasticsearch中。	FLINK	Clickhouse
ADS	把ClickHouse中的数据根据可视化需进行筛选聚合。一般不存储，进行MPP计算。	Clickhouse SQL	可视化展示