![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实时数仓
wppwpp1
这个作者很懒,什么都没留下…
展开
-
离线数仓,实时数仓和准实时数仓的相关架构
1,离线数仓主要借助,hive去实现,相关的业务统计,实时也离不开离线 2,实时数仓模型,主要借助kafka,flink做些实时查询 3,准实时数仓,可能有分钟级的数据延迟,主要借助快速的olap数据库查询,比如 ClickHouse,Druid等实现。 ...原创 2020-10-21 01:29:51 · 1183 阅读 · 0 评论 -
实时数仓架构设计
整体架构图 数据订阅同步(ODS) 实时流订阅 前期同步 binlog,埋点数据 离线数仓同步 根据实时数仓业务需要,同步相应离线数仓维表 实时数仓(DW) 数据明细层(DWD) 订阅来自 ODS 层的流数据,过滤无效数据,测试数据等,保留明细数据流 数据分流层 根据订阅流中不同 topic,分流不同数据,如总日志埋点数据中,经过分流层后,可分流出不同业务的日志数据(订餐埋点,广告埋点等),分流的 topic 可以通过维护元数据表来进行 Join 数据汇总层(DWS) ..原创 2020-09-03 00:44:46 · 889 阅读 · 0 评论