- 博客(1)
- 收藏
- 关注
原创 从0到1搭建数仓第一步——从业务系统同步数据到数仓ods层解决方案
方案1:全量更新所有的表全量更新缺点:1.数据量过大(双十一当天就有200万条订单数据,总的历史数据已经有7亿数据量)2.会缺失数据(系统中的数据有历史数据表,会自动清理半年之前的数据)对策:将会数据清理的表整理出来(做增量更新),其他的表全量更新——即使这样数据量也很大。方案2:增量更新所有的表有modified字段的增量更新,否则全量更新触发器对发生改变的数据做临时表,到时候只...
2019-11-15 17:05:01 1677
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人