业务数据用datax导入,全量初始化,之后每次增量导入。
一 全量导入
对于数据不怎么变化或者每天变化,量级较小,比如商品类目表,优惠券定义信息表,积分规则参数表,以及大量字典表等,采用全量导入。
二 增量导入
对于数据不断变化以及不断新增的表(事实表,流水表等),比如订单表,开团记录表,优惠券领取使用记录表等,采用增量导入。
1、每天只留最新的一份 最节省空间,适用于不需要历史数据的表,如一些用户信息表。
2、使用拉链表 适用于数据量比较大,更新频率不是很大,需要历史状态需要保存,最大程度节省存储,比如订单表,保存订单历史状态,维表(缓慢变化维SCD的处理) 。