musi_shuang的博客

原创 从0到1搭建数仓第一步——从业务系统同步数据到数仓ods层解决方案

方案1：全量更新 所有的表全量更新 缺点： 1.数据量过大（双十一当天就有200万条订单数据，总的历史数据已经有7亿数据量） 2.会缺失数据（系统中的数据有历史数据表，会自动清理半年之前的数据） 对策：将会数据清理的表整理出来（做增量更新），其他的表全量更新——即使这样数据量也很大。 方案2：增量更新 所有的表有modified字段的增量更新，否则全量更新 触发器对发生改变的数据做临时表，到时候只...