企业实时数仓

1、传统数仓架构和实时数仓架构

2、传统数仓升级到实时数仓的步骤

(1)先保证现有的旧数仓的稳定性;

(2)新开辟一条实时数仓的开发方向;

(3)逐步优化,并替换旧数仓的功能或报表

 1>第一步先验证实时-ods的稳定性,数据一致性

 2>将离线同步环节干掉,将实时-ods数据同步一份到离线-ods,旧数仓并没有影响

 3>尝试将核心dwd表,利用实时增量计算开发

 4>逐步将实时性要求高的报表,迁移至实时数仓

 5>新需求也可考虑在实时数仓开发

3、实时数仓相对离线数仓有哪些优势

(1)数据实时性,业务数据变化,可以及时做出反应,如搞活动,可以立马知道用户的一些行为数据,分析人员和业务人员可以及时做出对应的运营策略;实时告警等等,都是离线数仓无法做到的

(2)对数据库的压力,实时数仓,只会增量同步或计算新增的数据,一秒就那么几十几百条左右的业务数据,对数据库几乎无压力;离线数仓定时的,对业务库进行大量的采集,或者计算,对业务库还有服务器都会有比较大的压力

可能有人觉得实时数仓会漏数,没有离线数仓的数据质量高,这个完全不用担心,配置一些定时任务,去检查业务库与同步库之间的数据一致性即可,初始启动全量检查,后续可以每小时检查最近24小时的增量数据,对数据库的压力也是非常小的

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值