实时数仓
wppwpp1
这个作者很懒,什么都没留下…
展开
-
离线数仓,实时数仓和准实时数仓的相关架构
1,离线数仓主要借助,hive去实现,相关的业务统计,实时也离不开离线2,实时数仓模型,主要借助kafka,flink做些实时查询3,准实时数仓,可能有分钟级的数据延迟,主要借助快速的olap数据库查询,比如 ClickHouse,Druid等实现。...原创 2020-10-21 01:29:51 · 1167 阅读 · 0 评论 -
实时数仓架构设计
整体架构图数据订阅同步(ODS)实时流订阅前期同步 binlog,埋点数据离线数仓同步根据实时数仓业务需要,同步相应离线数仓维表实时数仓(DW)数据明细层(DWD)订阅来自 ODS 层的流数据,过滤无效数据,测试数据等,保留明细数据流数据分流层根据订阅流中不同 topic,分流不同数据,如总日志埋点数据中,经过分流层后,可分流出不同业务的日志数据(订餐埋点,广告埋点等),分流的 topic 可以通过维护元数据表来进行 Join数据汇总层(DWS)..原创 2020-09-03 00:44:46 · 877 阅读 · 0 评论