子系统或子公司客户数据探查,数据质量较差,需明确客户数据质量不达标,不参与后续的归并逻辑,不生成客户信息,需要写入数据质量监控表,带批量完成以后,下发回子系统。注意是该客户所有的信息都不处理。在贴源层需要做好数据质量监控,否则ecif系统最终将不可用。
目录
1.源系统数据保留策略
按增量存储,初始化当天是一份历史全量。每日加载数据与存量数据对比,对比出增量。
按主键分组,日期排序取最新,为当前全量结果集。
2.数据质量监控
除了客户要素外,其他字段信息项都要确保需要使用字典的都已经转为ECIF系统的字典项,这一部分也需要提前校验,不符合字典表的规范,都要转为NULL值处理。数据表没有创建时间、更新时间的,都由子系统生成数据的系统时间代替,创建时间或更新时间其中一个为NULL的,由其对应的更新时间或