数据清洗实例

Contact表, 是定期从其他系统导出的Excel,再导入的数据. 有几十万条数据,存在以下几个问题: 联系人重复,省市地址空缺

解决方法:

第1步: 采用  group by mobilePhone having count(*)>1 过滤出重复数据,放在一个临时表a

第2步: 对每组重复记录,根据各个字段的权重,判断出以哪行数据为准,

把选择出的那行数据,如果有字段空白,而重复记录的该字段不为空白,则选取不空白的字段的内容,更新选择行的字段数据.

放在一个临时表b

第3步: 把contact表不重复的那部分记录和临时表b的记录,合并成临时表c

 

转载于:https://www.cnblogs.com/zitjubiz/p/ETL_example1.html