- 博客(1)
- 收藏
- 关注
原创 从0到1搭建数仓第一步——从业务系统同步数据到数仓ods层解决方案
方案1:全量更新 所有的表全量更新 缺点: 1.数据量过大(双十一当天就有200万条订单数据,总的历史数据已经有7亿数据量) 2.会缺失数据(系统中的数据有历史数据表,会自动清理半年之前的数据) 对策:将会数据清理的表整理出来(做增量更新),其他的表全量更新——即使这样数据量也很大。 方案2:增量更新 所有的表有modified字段的增量更新,否则全量更新 触发器对发生改变的数据做临时表,到时候只...
2019-11-15 17:05:01 1676
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人