1、传统数仓架构和实时数仓架构
2、传统数仓升级到实时数仓的步骤
(1)先保证现有的旧数仓的稳定性;
(2)新开辟一条实时数仓的开发方向;
(3)逐步优化,并替换旧数仓的功能或报表
1>第一步先验证实时-ods的稳定性,数据一致性
2>将离线同步环节干掉,将实时-ods数据同步一份到离线-ods,旧数仓并没有影响
3>尝试将核心dwd表,利用实时增量计算开发
4>逐步将实时性要求高的报表,迁移至实时数仓
5>新需求也可考虑在实时数仓开发
3、实时数仓相对离线数仓有哪些优势
(1)数据实时性,业务数据变化,可以及时做出反应,如搞活动,可以立马知道用户的一些行为数据,分析人员和业务人员可以及时做出对应的运营策略;实时告警等等,都是离线数仓无法做到的
(2)对数据库的压力,实时数仓,只会增量同步或计算新增的数据,一秒就那么几十几百条左右的业务数据,对数据库几乎无压力;离线数仓定时的,对业务库进行大量的采集,或者计算,对业务库还有服务器都会有比较大的压力
可能有人觉得实时数仓会漏数,没有离线数仓的数据质量高,这个完全不用担心,配置一些定时任务,去检查业务库与同步库之间的数据一致性即可,初始启动全量检查,后续可以每小时检查最近24小时的增量数据,对数据库的压力也是非常小的