CPDA ：数据需要清理的问题

数据需要清理的问题

对各种问题数据进行对应方式的处理，使其得到统一、可用、易用的数据

常出现问题：

数据不完整（即值缺失）——例如人的属性中缺少婚否、年龄等
数据值不匹配（元数据为人工填入的情况下该问题较多）——例如在婚否的数据标签中填的是性别男
数据重复——不同来源的数据出现重复的情况
数据不合理——获取的数据与常识不符，例如年龄大于150岁
数据不一致——不同数据源的同一数据语意冲突
数据无用——目前业务上所不需要使用到的、无价值的数据

针对不同的问题我们可以通过不同的方式进行对应的思路：

数据不完整的解决方法

一般情况下缺失的值需要人工手动填入
通过其他数据进行推导来补全。例如使用省份证号推算出年龄、出生地、籍贯等。一般是通过平均值、最大值、最小值、概率统计等方式来补全缺失项
数据剔除。如果没有办法进行数据完整的补全，为了不影响整体数据的质量，需要将其剔除
数据值不匹配
人工手动进行处理

数据重复的解决方法

按主键去重。用sql或者excel去除重复记录即可
编写规则，按规则去重

数据不合理的解决方法

设定强制合法规则范围。凡是不在此范围内的，强制设为最大值或者将其剔除
设定警告规则。凡是不在此规则范围内的，进行警告，然后人工处理
离群值人工处理。使用分箱、聚类、回归等方式发现离群值

数据不一致的解决方法

设定强制合法规则范围。凡是不在此范围内的，强制设为最大值或者将其剔除
设定警告规则。凡是不在此规则范围内的，进行警告，然后人工处理
离群值人工处理。使用分箱、聚类、回归等方式发现离群值