数据需要清理的问题
对各种问题数据进行对应方式的处理,使其得到统一、可用、易用的数据
常出现问题:
数据不完整(即值缺失)——例如人的属性中缺少婚否、年龄等
数据值不匹配(元数据为人工填入的情况下该问题较多)——例如在婚否的数据标签中填的是性别男
数据重复——不同来源的数据出现重复的情况
数据不合理——获取的数据与常识不符,例如年龄大于150岁
数据不一致——不同数据源的同一数据语意冲突
数据无用——目前业务上所不需要使用到的、无价值的数据
针对不同的问题我们可以通过不同的方式进行对应的思路:
数据不完整的解决方法
一般情况下缺失的值需要人工手动填入
通过其他数据进行推导来补全。例如使用省份证号推算出年龄、出生地、籍贯等。一般是通过平均值、最大值、最小值、概率统计等方式来补全缺失项
数据剔除。如果没有办法进行数据完整的补全,为了不影响整体数据的质量,需要将其剔除
数据值不匹配
人工手动进行处理
数据重复的解决方法
按主键去重。用sql或者excel去除重复记录即可
编写规则,按规则去重
数据不合理的解决方法
设定强制合法规则范围。凡是不在此范围内的,强制设为最大值或者将其剔除
设定警告规则。凡是不在此规则范围内的,进行警告,然后人工处理
离群值人工处理。使用分箱、聚类、回归等方式发现离群值
数据不一致的解决方法
设定强制合法规则范围。凡是不在此范围内的,强制设为最大值或者将其剔除
设定警告规则。凡是不在此规则范围内的,进行警告,然后人工处理
离群值人工处理。使用分箱、聚类、回归等方式发现离群值