【实时数仓篇】(01)美团 Flink 实时数仓应用_实时数仓建模 美团(1)

在这里插入图片描述

四、如何建设实时数仓

在这里插入图片描述

4.1 实时数仓的整体的架构图

在这里插入图片描述

  • 数仓层次更少
    尽量减少层次的划分,应用层数据直接写入应用数据库,仓库内不维护应用层。
  • 多种数据源存储
    实时数仓使用Kafka存储明细与数据汇总数据,Tair、Hbase等缓存存储维度数据。
4.2 ODS层的建设

在这里插入图片描述

  • 数据来源尽可能统一
  • 利用分区保证数据局部有序
4.3 DW层的建设

解决原始数据中数据存在噪声、不完整和数据形式不统一的情况。形成规范,统一的数据源。如果可能的化尽可能和离线保持一致。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值