脏数据及处理

## 什么是脏数据？怎么处理

1. 脏数据定义

从目标中取出来的 已经过期、错误、或者没有意义的数据。
脏读：读取出来的脏数据就叫脏读

2.“脏数据”分类及处理方法

a.数据缺失：

空值（缺一行 ）或者记录的一些值
处理方法：
1）不将空值纳入分析范围
2）补值：从数据库中重新导入数据或采用平均数、零、或者等比例随机数等补值。

b.数据重复

人工判断处理，保留数据中的一条。

c.数据错误

1)异常值：数值大于区间范围
处理方法：通过区间限定来排除 和发现。
2)格式错误，例如日期格式录成字符串。
处理方法：从系统级别找原因。
3)填写的数据不统一，如bj和beijing
处理方法：人工干预
做一张清洗规则表，给出匹配关系，第一列是原始值，第二列是清洗值，用规则表去关联原始表，用清洗值做分析。
更好的方法：通过近似值算法自动发现可能不统一的数据。

d.数据不可用

数据正确，但不可用
如“北京市海淀中关村”，想分析去级别的海淀则，很难去除区级别是字段。
处理方法：从源头解决，即数据治理。